# Миграция с dbt-spark на dbt-databricks

[Назад к гайдам](https://docs.getdbt.tech/guides.md)

[Menu ]()



## Введение

Вы можете перенести свои проекты с использованием адаптера `dbt-spark` на использование [адаптера dbt-databricks](https://github.com/databricks/dbt-databricks). В сотрудничестве с dbt Labs, Databricks создали этот адаптер, используя dbt-spark в качестве основы и добавив некоторые важные улучшения. С ним вы получаете более простую настройку — требуется всего три параметра для аутентификации — и больше функций, таких как поддержка [Unity Catalog](https://www.databricks.com/product/unity-catalog).

### Предварительные требования

* Для миграции проектов dbt в dbt необходимы права администратора (admin).

### Упрощенная аутентификация

Раньше требовалось указать идентификатор `cluster` или `endpoint`, который было сложно извлечь из предоставленного вам `http_path`. Теперь неважно, используете ли вы кластер или SQL-эндпоинт, поскольку [настройка dbt-databricks](https://docs.getdbt.tech/docs/local/connect-data-platform/databricks-setup.md) требует *одинаковых* входных данных для обоих вариантов. Достаточно указать:

* имя хоста рабочей области Databricks
* HTTP-путь SQL-хранилища или кластера Databricks
* соответствующие учетные данные

### Улучшенные значения по умолчанию

Адаптер `dbt-databricks` предоставляет более оптимальные значения по умолчанию, чем `dbt-spark`. Эти значения помогают оптимизировать ваш рабочий процесс, чтобы вы могли получить быструю производительность и экономичность Databricks. Они следующие:

* Модели dbt используют формат таблиц [Delta](https://docs.databricks.com/delta/index.html). Вы можете удалить любые объявленные конфигурации `file_format = 'delta'`, так как они теперь избыточны.
* Ускорьте ваши дорогие запросы с помощью [Photon engine](https://docs.databricks.com/runtime/photon.html).
* Конфигурация `incremental_strategy` установлена на `merge`.

Однако в dbt-spark значение по умолчанию для `incremental_strategy` — это `append`. Если вы хотите продолжать использовать `incremental_strategy=append`, вам нужно будет явно установить эту конфигурацию на ваших инкрементальных моделях. Если вы уже указали `incremental_strategy=merge` на ваших инкрементальных моделях, вам не нужно ничего менять при переходе на dbt-databricks; но вы можете сохранить ваши модели чистыми, удалив конфигурацию, так как она избыточна. Прочтите [О стратегии инкрементального обновления](https://docs.getdbt.tech/docs/build/incremental-strategy.md), чтобы узнать больше.

Подробнее о значениях по умолчанию см. в разделе [Особенности](https://docs.getdbt.tech/docs/local/connect-data-platform/databricks-setup.md).

### Чистый Python

Если вы используете dbt v1, вам больше не нужно скачивать отдельный драйвер для взаимодействия с Databricks. Вся информация о подключении включена в библиотеку `databricks-sql-connector`, написанную целиком на Python.

## Миграция ваших dbt проектов в dbt Cloud

## Миграция ваших dbt‑проектов в dbt

Вы можете перенести свои проекты с универсального адаптера Apache Spark на адаптер, специфичный для Databricks. Если вы используете dbt v1, переходите сразу к шагу 4.

Чтобы обновить подключение к Databricks в dbt Cloud:

Чтобы обновить подключение к Databricks в dbt:

1. В главной панели навигации выберите **Account Settings**.

2. На вкладке **Projects** найдите проект, который вы хотите мигрировать на адаптер dbt-databricks.

3. Нажмите на гиперссылку **Connection** для этого проекта.

4. Нажмите **Edit** в правом верхнем углу.

5. Выберите **Databricks** в качестве warehouse.

6. Введите:

   1. `hostname`
   2. `http_path`
   3. (опционально) имя каталога

7. Нажмите **Сохранить**.

Всем сотрудникам вашей организации, которые используют dbt, необходимо обновить Studio IDE, прежде чем возобновить работу. Обновление должно занять менее минуты.

## Настройка ваших учетных данных

При обновлении подключения к Databricks в dbt ваша команда не потеряет свои учетные данные. Это упрощает миграцию, поскольку вам нужно лишь удалить подключение к Databricks и заново добавить информацию о кластере или конечной точке.

Эти учетные данные не будут потеряны при успешном подключении к Databricks с использованием метода `dbt-spark` ODBC:

* Учетные данные, которые вы предоставили dbt для подключения к рабочей области Databricks.
* Персональные токены доступа, которые участники вашей команды добавили в свои профили dbt, чтобы разрабатывать в Studio IDE в рамках конкретного проекта.
* Токен доступа, который вы добавили для каждой среды развертывания, чтобы dbt мог подключаться к Databricks при выполнении заданий в промышленной среде.

## Перенос проектов dbt в dbt

Чтобы перевести проекты dbt v1 с адаптера `dbt-spark` на `dbt-databricks`:

1. Установите [адаптер dbt-databricks](https://github.com/databricks/dbt-databricks) в своей среде
2. Обновите подключение к Databricks, изменив `target` в файле `~/.dbt/profiles.yml`

Любой, кто использует ваш проект, также должен внести эти изменения в своей среде.

## Попробуйте эти примеры

Вы можете использовать следующие примеры файла `profiles.yml`, чтобы увидеть настройку аутентификации с `dbt-spark` по сравнению с более простой настройкой с `dbt-databricks` при подключении к SQL endpoint. Пример для кластера будет выглядеть аналогично.

Пример того, как выглядит аутентификация с `dbt-spark`:

\~/.dbt/profiles.yml

```yaml
your_profile_name:
  target: dev
  outputs:
    dev:
      type: spark
      method: odbc
      driver: '/opt/simba/spark/lib/64/libsparkodbc_sb64.so'
      schema: my_schema
      host: dbc-l33t-nwb.cloud.databricks.com
      endpoint: 8657cad335ae63e3
      token: [my_secret_token]
```

Пример того, насколько проще аутентификация с `dbt-databricks`:

\~/.dbt/profiles.yml

```yaml
your_profile_name:
  target: dev
  outputs:
    dev:
      type: databricks
      schema: my_schema
      host:  dbc-l33t-nwb.cloud.databricks.com
      http_path: /sql/1.0/endpoints/8657cad335ae63e3
      token: [my_secret_token]
```
