Настройка Dremio

• Поддерживается: Dremio
• Авторы: Dremio
• Репозиторий GitHub: dremio/dbt-dremio
• Пакет PyPI: dbt-dremio
• Канал в Slack: db-dremio
• Поддерживаемая версия dbt Core: v1.8.0 и новее
• Поддержка dbt: Not Supported
• Минимальная версия платформы данных: Dremio 22.0

Установка dbt-dremio

Установите адаптер с помощью pip. До версии 1.8 установка адаптера автоматически устанавливала dbt-core и любые дополнительные зависимости. Начиная с 1.8 установка адаптера не устанавливает dbt-core автоматически. Это потому, что версии адаптеров и dbt Core были развязаны, и мы больше не хотим перезаписывать существующие установки dbt-core. Используйте следующую команду для установки:

python -m pip install dbt-core dbt-dremio

Настройка dbt-dremio

Конфигурацию, специфичную для Dremio, см. на странице настроек Dremio.

Следуйте по ссылке репозитория для получения информации о зависимостях ОС.

примечание

Model contracts не поддерживаются.

Предварительные условия для Dremio Cloud

Перед подключением проекта к Dremio Cloud выполните следующие предварительные шаги:

• Убедитесь, что у вас есть ID проекта Sonar, который вы хотите использовать. См. Получение ID проекта.
• Убедитесь, что у вас есть персональный токен доступа (PAT) для аутентификации в Dremio Cloud. См. Создание токена.
• Убедитесь, что на системе, на которой вы запускаете dbt, установлена версия Python 3.9.x или более поздняя.

Предварительные условия для Dremio Software

• Убедитесь, что вы используете версию 22.0 или более позднюю.

• Убедитесь, что на системе, на которой вы запускаете dbt, установлена версия Python 3.9.x или более поздняя.

• Если вы хотите использовать TLS для защиты соединения между dbt и Dremio Software, настройте полное шифрование сетевого трафика (full wire encryption) в вашем кластере Dremio. Инструкции см. в разделе Configuring Wire Encryption.

Инициализация проекта

1. Выполните команду dbt init <project_name>.
2. Выберите dremio в качестве используемой базы данных.
3. Выберите один из следующих вариантов для генерации профиля вашего проекта:
   • dremio_cloud для работы с Dremio Cloud
   • software_with_username_password для работы с кластером Dremio Software и аутентификации в кластере с использованием имени пользователя и пароля
   • software_with_pat для работы с кластером Dremio Software и аутентификации в кластере с использованием персонального токена доступа

Далее настройте профиль для вашего проекта.

Профили

Когда вы инициализируете проект, вы создаете один из этих трех профилей. Вы должны настроить его перед попыткой подключения к Dremio Cloud или Dremio Software.

• Профиль для Dremio Cloud
• Профиль для Dremio Software с аутентификацией по имени пользователя/паролю
• Профиль для Dremio Software с аутентификацией через персональный токен доступа

Для описания конфигураций в этих профилях см. Конфигурации.

Cloud

[project name]:
  outputs:
    dev:
      cloud_host: api.dremio.cloud
      cloud_project_id: [project ID]
      object_storage_source: [name]
      object_storage_path: [path]
      dremio_space: [name]
      dremio_space_folder: [path]
      pat: [personal access token]
      threads: [integer >= 1]
      type: dremio
      use_ssl: true
      user: [email address]
  target: dev

Software (Имя пользователя/Пароль)

[project name]:
  outputs:
    dev:
      password: [password]
      port: [port]
      software_host: [hostname or IP address]
      object_storage_source: [name
      object_storage_path: [path]
      dremio_space: [name]
      dremio_space_folder: [path]
      threads: [integer >= 1]
      type: dremio
      use_ssl: [true|false]
      user: [username]
  target: dev

Software (Персональный токен доступа)

[project name]:
  outputs:
    dev:
      pat: [personal access token]
      port: [port]
      software_host: [hostname or IP address]
      object_storage_source: [name
      object_storage_path: [path]
      dremio_space: [name]
      dremio_space_folder: [path]
      threads: [integer >= 1]
      type: dremio
      use_ssl: [true|false]
      user: [username]
  target: dev

Общие конфигурации для профилей Dremio Cloud и Dremio Software

Конфигурация	Обязательна?	Значение по умолчанию	Описание
type	Да	dremio	Автоматически заполняется при создании проекта Dremio. Не изменяйте это значение.
threads	Да	1	Количество потоков, на которых выполняется проект dbt.
object_storage_source	Нет	$scratch	Имя файловой системы, в которой создаются таблицы, материализованные представления, тесты и другие объекты. Псевдоним dbt — datalake. Это имя соответствует имени источника в разделе Object Storage на странице Datasets в Dremio, которое в следующем изображении называется "Samples":
object_storage_path	Нет	no_schema	Путь в файловой системе, в котором создаются объекты. По умолчанию это корневой уровень файловой системы. Псевдоним dbt — root_path. Вложенные папки в пути разделяются точками. Это значение соответствует пути в этом месте на странице Datasets в Dremio, которое в следующем изображении называется "samples.dremio.com.Dremio University":
dremio_space	Нет	@\<username>	Значение пространства Dremio, в котором создаются представления. Псевдоним dbt — database. Это значение соответствует имени в этом месте в разделе Spaces на странице Datasets в Dremio:
dremio_space_folder	Нет	no_schema	Папка в пространстве Dremio, в которой создаются представления. По умолчанию это верхний уровень в пространстве. Псевдоним dbt — schema. Вложенные папки разделяются точками. Это значение соответствует пути в этом месте на странице Datasets в Dremio, которое в следующем изображении называется Folder1.Folder2:

Loading table...

Конфигурации в профилях для Dremio Cloud

Конфигурация	Обязательна?	Значение по умолчанию	Описание
cloud_host	Да	api.dremio.cloud	Контрольная плоскость США: api.dremio.cloud Контрольная плоскость ЕС: api.eu.dremio.cloud
user	Да	Нет	Адрес электронной почты, используемый в качестве имени пользователя в Dremio Cloud
pat	Да	Нет	Персональный токен доступа для аутентификации. См. Персональные токены доступа для получения инструкций о получении токена.
cloud_project_id	Да	Нет	ID проекта Sonar, в котором выполняются преобразования.
use_ssl	Да	true	Значение должно быть true.

Loading table...

Конфигурации в профилях для Dremio Software

Конфигурация	Обязательна?	Значение по умолчанию	Описание
software_host	Yes	None	Имя хоста или IP-адрес координаторного узла кластера Dremio.
port	Yes	9047	Порт для API‑эндпоинтов кластера Dremio Software.
user	Yes	None	Имя пользователя учетной записи, которая используется для входа в кластер Dremio.
170		password	Да, если вы не используете конфигурацию pat.
171		pat	Да, если вы не используете конфигурации user и password.
use_ssl	Yes	true	Допустимые значения — true и false. Если значение установлено в true, убедитесь, что в вашем кластере Dremio настроено полное шифрование соединения. См. раздел Prerequisites for Dremio Software.

Loading table...

Нашли ошибку?

Создать GitHub Issue