Настройка Rockset

Плагин с поддержкой от поставщика

Некоторые основные функции могут отличаться. Если вы хотите сообщить об ошибке, запросить функцию или внести свой вклад, вы можете посетить связанный репозиторий и открыть задачу.

• Поддерживается: Rockset, Inc.
• Авторы: Rockset, Inc.
• Репозиторий на GitHub: rockset/dbt-rockset
• Пакет на PyPI: dbt-rockset
• Канал в Slack: #dbt-rockset
• Поддерживаемая версия dbt Core: v0.19.2 и новее
• Поддержка dbt Cloud: Not Supported
• Минимальная версия платформы данных: ?

Установка dbt-rockset

Используйте pip для установки адаптера. До версии 1.8 установка адаптера автоматически устанавливала dbt-core и любые дополнительные зависимости. Начиная с версии 1.8, установка адаптера не устанавливает автоматически dbt-core. Это связано с тем, что адаптеры и версии dbt Core были разделены, и мы больше не хотим перезаписывать существующие установки dbt-core. Используйте следующую команду для установки:

Конфигурация dbt-rockset

Для конфигурации, специфичной для Rockset, пожалуйста, обратитесь к конфигурациям Rockset.

Подключение к Rockset с помощью dbt-rockset

Профиль dbt для Rockset очень прост и содержит следующие поля:

profiles.yml

rockset:
  target: dev
  outputs:
    dev:
      type: rockset
      workspace: [schema]
      api_key: [api_key]
      api_server: [api_server] # (По умолчанию api.rs2.usw2.rockset.com)

Материализации

Тип	Поддерживается?	Подробности
view	ДА	Создает представление.
table	ДА	Создает коллекцию.
ephemeral	ДА	Выполняет запросы с использованием CTE.
incremental	ДА	Создает коллекцию, если она не существует, и затем записывает в нее результаты.

Предостережения

1. unique_key не поддерживается с incremental, если только он не установлен в _id, который в любом случае действует как естественный unique_key в Rockset.
2. table работает медленнее в Rockset, чем в большинстве других систем, из-за архитектуры Rockset как базы данных с низкой задержкой и в реальном времени. Создание новых коллекций требует выделения горячего хранилища для индексации и обслуживания свежих данных, что занимает около минуты.
3. Запросы Rockset имеют тайм-аут в две минуты. Любая модель, которая выполняет запрос, занимающий более двух минут, завершится с ошибкой.