Перейти к основному содержимому

Подключение Starburst/Trino к dbt v1

Файл profiles.yml нужен только для dbt v1 и dbt v2

Если вы используете dbt platform, создавать файл profiles.yml не нужно. Этот файл необходим только при локальном использовании v1 или v2. Подробнее о предварительных требованиях для v2 см. в разделе Поддерживаемые возможности. Чтобы подключить вашу платформу данных к dbt, см. раздел О платформах данных.

  • Поддерживается: Starburst Data, Inc.
  • Авторы: Starburst Team
  • Репозиторий GitHub: starburstdata/dbt-trino
  • Пакет PyPI: dbt-trino
  • Канал Slack: #db-starburst-and-trino
  • Поддерживаемая версия dbt: v0.20.0 и новее
  • Поддержка dbt: Supported
  • Минимальная версия платформы данных: n/a

Установка dbt-trino

Установите адаптер с помощью `pip`: python -m pip install dbt-trino

Настройка dbt-trino

Конфигурацию, специфичную для Starburst/Trino, см. на странице настроек Starburst/Trino.

Подключение к Starburst/Trino​

Чтобы подключиться к платформе данных с помощью dbt v1, создайте соответствующие YAML-ключи и значения profile и target в конфигурационном файле profiles.yml для ваших кластеров Starburst/Trino. Этот YAML-файл dbt находится в каталоге .dbt/ вашего домашнего каталога. Дополнительную информацию см. в разделах Профили подключения и profiles.yml.

Параметры для настройки подключения предназначены для кластеров Starburst Enterprise, Starburst Galaxy и Trino. Если не указано иное, под "кластером" подразумевается любой из этих продуктов.

Параметры хоста​

Следующие поля профиля всегда обязательны, за исключением user, который также обязателен, если вы не используете методы аутентификации oauth, oauth_console, cert или jwt.

ПолеПримерОписание
hostmycluster.mydomain.com

Формат для Starburst Galaxy:
  • mygalaxyaccountname-myclustername.trino.galaxy.starburst.io
Имя хоста вашего кластера.

Не включайте префикс http:// или https://.
databasemy_postgres_catalogИмя каталога в вашем кластере.
schemamy_schemaИмя схемы в каталоге вашего кластера.

Не рекомендуется использовать имена схем с заглавными или смешанными буквами.
port443Порт для подключения к вашему кластеру. По умолчанию это 443 для кластеров с включенным TLS.
userФормат для Starburst Enterprise или Trino:
  • user.name
  • user.name@mydomain.com

Формат для Starburst Galaxy:
  • user.name@mydomain.com/role
Имя пользователя (учетной записи) для входа в ваш кластер. При подключении к кластерам Starburst Galaxy вы должны включить роль пользователя в качестве суффикса к имени пользователя.

Роли в Starburst Enterprise​

Если вы подключаетесь к кластеру Starburst Enterprise со включёнными встроенными контролями доступа, вы должны указать роль в формате, описанном в разделе Дополнительные параметры. Если роль не указана, используется роль по умолчанию для указанного имени пользователя.

Схемы и базы данных​

При выборе каталога и схемы убедитесь, что у пользователя есть права на чтение и запись для обоих. Этот выбор не ограничивает вашу возможность выполнять запросы к каталогу. Вместо этого они служат местоположением по умолчанию для материализации таблиц и представлений. Кроме того, коннектор Trino, используемый в каталоге, должен поддерживать создание таблиц. Это значение по умолчанию можно изменить позже в вашем проекте dbt.

Дополнительные параметры​

Следующие поля профиля являются необязательными для настройки. Они позволяют настроить сессию вашего кластера и dbt для вашего подключения.

Поле профиляПримерОписание
threads8Количество потоков, которые должен использовать dbt (по умолчанию — 1)
rolessystem: analystРоли каталогов можно задать в необязательном параметре roles в следующем формате: catalog: role.
session_propertiesquery_max_run_time: 4hЗадаёт свойства сессии Trino, используемые при подключении. Выполните SHOW SESSION, чтобы просмотреть доступные параметры.
prepared_statements_enabledtrue или falseВключает использование подготовленных запросов Trino (используются в командах dbt seed) (по умолчанию — true)
retries10Задаёт количество повторных попыток выполнения каждой операции с базой данных при возникновении проблем с подключением (по умолчанию — 3)
timezoneEurope/BrusselsЧасовой пояс сессии Trino (по умолчанию — локальный часовой пояс на стороне клиента)
client_tags['analytics', 'fault-tolerant']Список клиентских тегов, отправляемых в Trino в заголовке X-Trino-Client-Tags. Подробности настройки см. в разделе Маршрутизация запросов.
http_headersX-Trino-Client-Info: dbt-trinoHTTP-заголовки, отправляемые вместе с запросами к Trino и задаваемые в виде YAML-словаря имён и значений заголовков. Подробности настройки см. в разделе Маршрутизация запросов.
http_schemehttps или httpСхема HTTP для запросов к Trino (по умолчанию — http или https при использовании kerberos, ldap или jwt)
starburst_urlhttps://my-tenant.galaxy.starburst.ioБазовый URL вашего REST API Starburst Data Discovery. Необходимо использовать https. Установка этого параметра включает синхронизацию описаний моделей и столбцов, записываемых с помощью persist_docs, с каталогом Data Discovery в Starburst. Доступно в dbt-trino версии 1.10.3 и выше.
starburst_client_id{{ env_var('DBT_ENV_SECRET_STARBURST_CLIENT_ID') }}Идентификатор клиента для аутентификации в API Starburst Data Discovery. Обязателен, если задан starburst_url. Доступно в dbt-trino версии 1.10.3 и выше.
starburst_secret_key{{ env_var('DBT_ENV_SECRET_STARBURST_SECRET_KEY') }}Секретный ключ для аутентификации в API Starburst Data Discovery. Обязателен, если задан starburst_url. Чтобы не хранить этот секрет в profiles.yml, получайте его из переменной окружения. Доступно в dbt-trino версии 1.10.3 и выше.
starburst_metadata_failure_strategycontinue_on_error (по умолчанию) или fail_fastСпособ обработки ошибок API Data Discovery при синхронизации метаданных persist_docs: continue_on_error записывает предупреждение в журнал и продолжает выполнение, а fail_fast прерывает выполнение. Доступно в dbt-trino версии 1.10.3 и выше.
starburst_max_column_batch_size100 (по умолчанию)Максимальное количество описаний столбцов, отправляемых в одном пакетном запросе при синхронизации метаданных persist_docs с Data Discovery. Доступно в dbt-trino версии 1.10.3 и выше.

Параметры аутентификации​

Методы аутентификации, которые поддерживает dbt v1:

  • ldap — LDAP (имя пользователя и пароль)
  • kerberos — Kerberos
  • jwt — JSON Web Token (JWT)
  • certificate — Аутентификация на основе сертификатов
  • oauth — Открытая аутентификация (OAuth)
  • oauth_console — Открытая аутентификация (OAuth) с URL аутентификации, выводимым в консоль
  • none — Нет, без аутентификации

Установите поле method на метод аутентификации, который вы собираетесь использовать для подключения. Для общего введения в аутентификацию в Trino см. Trino Security: Authentication types.

Нажмите на один из этих методов аутентификации для получения более подробной информации о том, как настроить ваш профиль подключения. Каждая вкладка также включает пример конфигурационного файла profiles.yml для вашего ознакомления.

Следующая таблица перечисляет параметры аутентификации для настройки LDAP.

Для получения дополнительной информации обратитесь к LDAP аутентификация в документации Trino.

Поле профиляПримерОписание
methodldapУстановите LDAP в качестве метода аутентификации.
userФормат для Starburst Enterprise или Trino:
  • user.name
  • user.name@mydomain.com

Формат для Starburst Galaxy:
  • user.name@mydomain.com/role
Имя пользователя (учетной записи) для входа в ваш кластер. При подключении к кластерам Starburst Galaxy вы должны включить роль пользователя в качестве суффикса к имени пользователя.
passwordabc123Пароль для аутентификации.
impersonation_user (необязательно)impersonated_tomПереопределите предоставленное имя пользователя. Это позволяет вам выдавать себя за другого пользователя.

Пример profiles.yml для LDAP​

~/.dbt/profiles.yml
trino:
  target: dev
  outputs:
    dev:
      type: trino
      method: ldap 
      user: [user]
      password: [password]
      host: [hostname]
      database: [database name]
      schema: [your dbt schema]
      port: [port number]
      threads: [1 or more]

Нашли ошибку?

0
Loading