Перейти к основному содержимому

Настройка RisingWave

Плагин, поддерживаемый поставщиком

Некоторые основные функции могут отличаться. Если вы хотите сообщить об ошибке, запросить функцию или внести вклад, вы можете посетить связанный репозиторий и открыть задачу.

  • Поддерживается: RisingWave
  • Авторы: Dylan Chen
  • Репозиторий на GitHub: risingwavelabs/dbt-risingwave
  • Пакет на PyPI: dbt-risingwave
  • Канал в Slack: N/A
  • Поддерживаемая версия dbt Core: v1.6.1 и новее
  • Поддержка dbt Cloud: Не поддерживается
  • Минимальная версия платформы данных:

Установка dbt-risingwave

Используйте pip для установки адаптера. До версии 1.8 установка адаптера автоматически устанавливала dbt-core и любые дополнительные зависимости. Начиная с версии 1.8, установка адаптера не устанавливает автоматически dbt-core. Это связано с тем, что адаптеры и версии dbt Core были разделены, и мы больше не хотим перезаписывать существующие установки dbt-core. Используйте следующую команду для установки:

Конфигурация dbt-risingwave

Для конфигурации, специфичной для RisingWave, пожалуйста, обратитесь к конфигурациям RisingWave.

Подключение к RisingWave с помощью dbt-risingwave​

Перед подключением к RisingWave убедитесь, что RisingWave установлен и запущен. Для получения дополнительной информации о том, как запустить RisingWave, см. Руководство по быстрому старту RisingWave.

Чтобы подключиться к RisingWave с помощью dbt, вам нужно добавить профиль RisingWave в файл профилей dbt (~/.dbt/profiles.yml). Ниже приведен пример профиля RisingWave. При необходимости измените значения полей.

~/.dbt/profiles.yml
default:
  outputs:
    dev:
      type: risingwave
      host: [host name] 
      user: [user name]
      pass: [password]
      dbname: [database name]
      port: [port]
      schema: [dbt schema]
  target: dev
ПолеОписание
hostИмя хоста или IP-адрес экземпляра RisingWave
userПользователь базы данных RisingWave, которого вы хотите использовать
passПароль пользователя базы данных
dbnameИмя базы данных RisingWave
portНомер порта, на котором RisingWave прослушивает
schemaСхема базы данных RisingWave

Чтобы протестировать подключение к RisingWave, выполните:

dbt debug

Материализации​

Модели dbt для управления преобразованиями данных в RisingWave аналогичны типичным SQL-моделям dbt. В адаптере dbt-risingwave мы настроили некоторые материализации, чтобы они соответствовали модели обработки потоковых данных RisingWave.

МатериализацииПоддерживаетсяПримечания
tableДаСоздает таблицу. Чтобы использовать эту материализацию, добавьте {{ config(materialized='table') }} в ваши SQL-файлы модели.
viewДаСоздает представление. Чтобы использовать эту материализацию, добавьте {{ config(materialized='view') }} в ваши SQL-файлы модели.
ephemeralДаЭта материализация использует общие табличные выражения в RisingWave. Чтобы использовать эту материализацию, добавьте {{ config(materialized='ephemeral') }} в ваши SQL-файлы модели.
materializedviewБудет устаревать.Доступно только для обеспечения обратной совместимости (для версии v1.5.1 плагина адаптера dbt-risingwave). Если вы используете версии v1.6.0 и выше плагина адаптера dbt-risingwave, используйте materialized_view.
materialized_viewДаСоздает материализованное представление. Эта материализация соответствует incremental в dbt. Чтобы использовать эту материализацию, добавьте {{ config(materialized='materialized_view') }} в ваши SQL-файлы модели.
incrementalНетПожалуйста, используйте materialized_view. Поскольку RisingWave предназначен для использования материализованного представления для управления преобразованием данных инкрементным способом, вы можете просто использовать материализацию materialized_view.
sourceДаСоздает источник. Чтобы использовать эту материализацию, добавьте {{ config(materialized='source') }} в ваши SQL-файлы модели. Вам нужно предоставить ваше полное заявление о создании источника в этой модели. См. Примеры файлов моделей для деталей.
table_with_connectorДаСоздает таблицу с настройками коннектора. В RisingWave таблица с настройками коннектора аналогична источнику. Разница в том, что объект таблицы с настройками коннектора сохраняет необработанные потоковые данные в источнике, тогда как объект источника этого не делает. Чтобы использовать эту материализацию, добавьте {{ config(materialized='table_with_connector') }} в ваши SQL-файлы модели. Вам нужно предоставить ваше полное заявление о создании таблицы с коннектором в этой модели (см. Примеры файлов моделей для деталей). Поскольку таблицы dbt имеют свои собственные семантики, RisingWave использует table_with_connector, чтобы отличаться от таблицы dbt.
sinkДаСоздает приемник. Чтобы использовать эту материализацию, добавьте {{ config(materialized='sink') }} в ваши SQL-файлы. Вам нужно предоставить ваше полное заявление о создании приемника в этой модели. См. Примеры файлов моделей для деталей.

Ресурсы​

0
Отредактировать эту страницу