Перейти к основному содержимому

Настройка Databricks Preview

Вы можете настроить адаптер Databricks, запустив dbt init в CLI, либо вручную создав файл profiles.yml и указав в нём поля, соответствующие выбранному типу аутентификации.

Адаптер Databricks для Fusion поддерживает следующие методы аутентификации:

  • Personal access token (для индивидуальных пользователей)
  • Service Principal token (для сервисных пользователей)
  • OAuth

Детали конфигурации Databricks​

Адаптер dbt Fusion Engine dbt-databricks — это единственный поддерживаемый способ подключения к Databricks.

dbt-databricks может подключаться к Databricks SQL Warehouses. Эти хранилища рекомендуется использовать для начала работы с Databricks.

Дополнительную информацию о получении учётных данных для настройки профиля см. в документации Databricks.

Настройка Fusion​

При выполнении dbt init в CLI вам будет предложено указать следующие поля:

  • Host: имя хоста экземпляра Databricks (без префикса http или https)
  • HTTP Path: путь к вашему SQL-серверу или кластеру
  • Schema: схема для разработки / стейджинга / деплоя проекта
  • Catalog (Optional): каталог Databricks, содержащий ваши схемы и таблицы

В качестве альтернативы вы можете вручную создать файл profiles.yml и настроить необходимые поля. Примеры форматирования см. в разделе authentication. Если файл profiles.yml уже существует, вам будет предложено сохранить текущие поля или перезаписать их.

Далее выберите метод аутентификации и следуйте инструкциям на экране, чтобы предоставить требуемую информацию.

Поддерживаемые типы аутентификации​

Введите ваш personal access token (PAT) для среды Databricks. Подробнее о получении PAT см. в документации Databricks. Databricks считает этот механизм устаревшим, поэтому рекомендуется использовать OAuth вместо PAT.

Пример конфигурации с personal access token​

profiles.yml
default:
  target: dev
  outputs:
    dev:
      type: databricks
      database: TRANSFORMING
      schema: JANE_SMITH
      host: YOUR.HOST.COM
      http_path: YOUR/PATH/HERE
      token: ABC123
      auth_type: databricks_cli
      threads: 16

Дополнительная информация​

Конфигурационные параметры, специфичные для Databricks, см. в справочнике по адаптеру Databricks.

Нашли ошибку?

0
Loading