Миграция с dbt-spark на dbt-databricks
Введение
Вы можете перенести свои проекты с использованием адаптера dbt-spark на использование адаптера dbt-databricks. В сотрудничестве с dbt Labs, Databricks создали этот адаптер, используя dbt-spark в качестве основы и добавив некоторые важные улучшения. С ним вы получаете более простую настройку — требуется всего три параметра для аутентификации — и больше функций, таких как поддержка Unity Catalog.
Предварительные требования
- Для миграции проектов dbt в dbt необходимы права администратора (admin).
Упрощенная аутентификация
Раньше требовалось указать идентификатор cluster или endpoint, который было сложно извлечь из предоставленного вам http_path. Теперь неважно, используете ли вы кластер или SQL-эндпоинт, поскольку настройка dbt-databricks требует одинаковых входных данных для обоих вариантов. Достаточно указать:
- имя хоста рабочей области Databricks
- HTTP-путь SQL-хранилища или кластера Databricks
- соответствующие учетные данные
Улучшенные значения по умолчанию
Адаптер dbt-databricks предоставляет более оптимальные значения по умолчанию, чем dbt-spark. Эти значения помогают оптимизировать ваш рабочий процесс, чтобы вы могли получить быструю производительность и экономичность Databricks. Они следующие:
- Модели dbt используют формат таблиц Delta. Вы можете удалить любые объявленные конфигурации
file_format = 'delta', так как они теперь избыточны. - Ускорьте ваши дорогие запросы с помощью Photon engine.
- Конфигурация
incremental_strategyустановлена наmerge.
Однако в dbt-spark значение по умолчанию для incremental_strategy — это append. Если вы хотите продолжать использовать incremental_strategy=append, вам нужно будет явно установить эту конфигурацию на ваших инкрементальных моделях. Если вы уже указали incremental_strategy=merge на ваших инкрементальных моделях, вам не нужно ничего менять при переходе на dbt-databricks; но вы можете сохранить ваши модели чистыми, удалив конфигурацию, так как она избыточна. Прочтите О стратегии инкрементального обновления, чтобы узнать больше.
Подробнее о значениях по умолчанию см. в разделе Особенности.
Чистый Python
Если вы используете dbt v1, вам больше не нужно скачивать отдельный драйвер для взаимодействия с Databricks. Вся информация о подключении включена в библиотеку databricks-sql-connector, написанную целиком на Python.
Миграция ваших dbt проектов в dbt Cloud
Миграция ваших dbt‑проектов в dbt
Вы можете перенести свои проекты с универсального адаптера Apache Spark на адаптер, специфичный для Databricks. Если вы используете dbt v1, переходите сразу к шагу 4.
Чтобы обновить подключение к Databricks в dbt Cloud:
Чтобы обновить подключение к Databricks в dbt:
- В главной панели навигации выберите Account Settings.
- На вкладке Projects найдите проект, который вы хотите мигрировать на адаптер dbt-databricks.
- Нажмите на гиперссылку Connection для этого проекта.
- Нажмите Edit в правом верхнем углу.
- Выберите Databricks в качестве warehouse.
- Введите:
hostnamehttp_path- (опционально) имя каталога
- Нажмите Сохранить.
Всем сотрудникам вашей организации, которые используют dbt, необходимо обновить Studio IDE, прежде чем возобновить работу. Обновление должно занять менее минуты.
Настройка ваших учетных данных
При обновлении подключения к Databricks в dbt ваша команда не потеряет свои учетные данные. Это упрощает миграцию, поскольку вам нужно лишь удалить подключение к Databricks и заново добавить информацию о кластере или конечной точке.
Эти учетные данные не будут потеряны при успешном подключении к Databricks с использованием метода dbt-spark ODBC:
- Учетные данные, которые вы предоставили dbt для подключения к рабочей области Databricks.
- Персональные токены доступа, которые участники вашей команды добавили в свои профили dbt, чтобы разрабатывать в Studio IDE в рамках конкретного проекта.
- Токен доступа, который вы добавили для каждой среды развертывания, чтобы dbt мог подключаться к Databricks при выполнении заданий в промышленной среде.
Перенос проектов dbt в dbt
Чтобы перевести проекты dbt v1 с адаптера dbt-spark на dbt-databricks:
- Установите адаптер dbt-databricks в своей среде
- Обновите подключение к Databricks, изменив
targetв файле~/.dbt/profiles.yml
Любой, кто использует ваш проект, также должен внести эти изменения в своей среде.
Попробуйте эти примеры
Вы можете использовать следующие примеры файла profiles.yml, чтобы увидеть настройку аутентификации с dbt-spark по сравнению с более простой настройкой с dbt-databricks при подключении к SQL endpoint. Пример для кластера будет выглядеть аналогично.
Пример того, как выглядит аутентификация с dbt-spark:
your_profile_name:
target: dev
outputs:
dev:
type: spark
method: odbc
driver: '/opt/simba/spark/lib/64/libsparkodbc_sb64.so'
schema: my_schema
host: dbc-l33t-nwb.cloud.databricks.com
endpoint: 8657cad335ae63e3
token: [my_secret_token]
Пример того, насколько проще аутентификация с dbt-databricks:
your_profile_name:
target: dev
outputs:
dev:
type: databricks
schema: my_schema
host: dbc-l33t-nwb.cloud.databricks.com
http_path: /sql/1.0/endpoints/8657cad335ae63e3
token: [my_secret_token]