# Интеграция с другими инструментами оркестрации

Помимо [dbt](https://docs.getdbt.tech/docs/deploy/jobs.md), узнайте о других способах планирования и запуска заданий dbt с помощью инструментов, подобных описанным на этой странице.

Создавайте и устанавливайте эти инструменты, чтобы автоматизировать рабочие процессы обработки данных, запускать задания dbt (включая задания, размещённые в dbt) и работать без лишних хлопот, экономя время и повышая эффективность.

## Airflow

Если ваша организация использует [Airflow](https://airflow.apache.org/), существует несколько способов запуска dbt задач, включая:

### dbt platform

Установка [провайдера dbt](https://airflow.apache.org/docs/apache-airflow-providers-dbt-cloud/stable/index.html) для оркестрации заданий dbt. Этот пакет содержит различные хуки (Hooks), операторы (Operators) и сенсоры (Sensors) для выполнения различных действий в dbt.

[![DAG Airflow с использованием DbtCloudRunJobOperator](/img/docs/running-a-dbt-project/airflow_dbt_connector.png?v=2 "DAG Airflow с использованием DbtCloudRunJobOperator")](#)DAG Airflow с использованием DbtCloudRunJobOperator

[![Задание dbt, запущенное из Airflow](/img/docs/running-a-dbt-project/dbt_cloud_airflow_trigger.png?v=2 "Задание dbt, запущенное из Airflow")](#)Задание dbt, запущенное из Airflow

### dbt v1

Запуск задач dbt v1 через [BashOperator](https://registry.astronomer.io/providers/apache-airflow/modules/bashoperator). В этом случае обязательно установите dbt в виртуальное окружение, чтобы избежать проблем с конфликтующими зависимостями между Airflow и dbt.

Для получения более подробной информации о каждом из этих методов, включая примеры реализации, ознакомьтесь с [этим руководством](https://docs.astronomer.io/learn/airflow-dbt-cloud).

## Серверы автоматизации

Серверы автоматизации (такие как CodeDeploy, GitLab CI/CD ([видео](https://youtu.be/-XBIIY2pFpc?t=1301)), Bamboo и Jenkins) могут использоваться для планирования bash команд для dbt. Они также предоставляют интерфейс для просмотра логов в командной строке и интеграции с вашим git-репозиторием.

## Azure Data Factory

Интегрируйте dbt и [Azure Data Factory](https://learn.microsoft.com/en-us/azure/data-factory/) (ADF), чтобы обеспечить непрерывный процесс работы с данными — от загрузки до преобразования. Используя [dbt API](https://docs.getdbt.tech/docs/dbt-apis/overview.md) в ADF, вы можете автоматически запускать задания dbt после завершения заданий загрузки данных.

Ниже подробно описано, как запустить задание dbt с помощью API в Azure Data Factory. Чтобы использовать dbt API для запуска задания в dbt через ADF:

1. В dbt перейдите к настройкам ежедневного задания для производственной среды и отключите запуск по расписанию в разделе **Trigger**.
2. Создайте конвейер в ADF для запуска задания dbt.
3. Настройте безопасное получение служебного токена dbt из хранилища ключей в ADF, используя веб-вызов в качестве первого шага конвейера.
4. Задайте параметры конвейера, включая идентификатор аккаунта и идентификатор задания dbt, а также имя хранилища ключей и имя секрета, содержащего служебный токен.
   * Идентификаторы задания и аккаунта dbt можно найти в URL. Например, если URL — `https://YOUR_ACCESS_URL/deploy/88888/projects/678910/jobs/123456`, то идентификатор аккаунта — 88888, а идентификатор задания — 123456
5. Запустите конвейер в ADF, чтобы запустить задание dbt, и отслеживайте статус задания dbt в ADF.
6. В dbt вы можете проверить статус задания и узнать, каким способом оно было запущено в dbt.

## Cron

Cron — это неплохой способ планирования bash команд. Однако, хотя это может показаться простым способом планирования задачи, написание кода для учета всех дополнительных функций, связанных с производственным развертыванием, часто делает этот путь более сложным по сравнению с другими вариантами, перечисленными здесь.

## Dagster

Если ваша организация использует [Dagster](https://dagster.io/), вы можете использовать библиотеку [dagster\_dbt](https://docs.dagster.io/_apidocs/libraries/dagster-dbt), чтобы интегрировать команды dbt в свои пайплайны. Эта библиотека поддерживает выполнение dbt через dbt или dbt v1. При запуске dbt из Dagster автоматически собираются метаданные о запусках dbt. Подробности см. в [примере пайплайна](https://dagster.io/blog/dagster-dbt).

## Рабочие процессы Databricks

Используйте рабочие процессы Databricks для вызова API заданий dbt. Такой подход дает ряд преимуществ: интеграцию с другими ETL-процессами, использование возможностей заданий dbt, разделение ответственности и запуск заданий на основе пользовательских условий или логики. Эти преимущества обеспечивают большую модульность, эффективную отладку и гибкость при планировании заданий dbt.

Подробнее см. в руководстве [Рабочие процессы Databricks и задания dbt](https://docs.getdbt.tech/guides/databricks-workflows.md).

## Kestra

Если ваша организация использует [Kestra](http://kestra.io/), вы можете воспользоваться [плагином dbt](https://kestra.io/plugins/plugin-dbt) для оркестрации заданий dbt и dbt v1. Пользовательский интерфейс (UI) Kestra содержит встроенные [Blueprints](https://kestra.io/docs/user-interface-guide/blueprints) — готовые к использованию рабочие процессы. Перейдите на страницу Blueprints через левое меню навигации и [выберите тег dbt](https://demo.kestra.io/ui/blueprints/community?selectedTag=36), чтобы найти примеры запуска команд dbt v1 и заданий dbt по расписанию в составе ваших конвейеров данных. После каждого выполнения рабочего процесса по расписанию или по запросу вкладка Outputs в интерфейсе Kestra позволяет скачать и предварительно просмотреть все артефакты сборки dbt. Представления Gantt и Topology дополнительно отображают метаданные, визуализируя зависимости и время выполнения ваших моделей и тестов dbt. Задача dbt предоставляет удобные ссылки для быстрого перехода между интерфейсами Kestra и dbt.

## Orchestra

Если ваша организация использует [Orchestra](https://getorchestra.io), вы можете запускать задания dbt через API dbt. Создайте API-токен в своей учетной записи dbt и используйте его для аутентификации Orchestra в [Orchestra Portal](https://app.getorchestra.io). Подробнее см. в [документации Orchestra по интеграции с dbt](https://orchestra-1.gitbook.io/orchestra-portal/integrations/transformation/dbt-cloud).

Orchestra автоматически собирает метаданные из ваших запусков, чтобы вы могли просматривать ваши задачи dbt в контексте остальной части вашего стека данных.

Ниже приведён пример сведений о запуске в dbt для задания, запущенного через Orchestra:

[![Пример запуска задачи dbt с помощью Orchestra](/img/docs/running-a-dbt-project/dbt_cloud_orchestra_trigger.png?v=2 "Пример запуска задачи dbt с помощью Orchestra")](#)Пример запуска задачи dbt с помощью Orchestra

Ниже приведен пример просмотра родословной в Orchestra для задач dbt:

[![Пример просмотра родословной для задач dbt в Orchestra](/img/docs/running-a-dbt-project/orchestra_lineage_dbt_cloud.png?v=2 "Пример просмотра родословной для задач dbt в Orchestra")](#)Пример просмотра родословной для задач dbt в Orchestra

## Prefect

Если в вашей организации используется [Prefect](https://www.prefect.io/), то способ запуска заданий будет зависеть от версии dbt, которую вы используете, а также от того, оркестрируете ли вы задания или dbt v1. Ниже приведены различные возможные варианты:

Если ваша организация использует [Prefect](https://www.prefect.io/), способ запуска заданий зависит от используемой версии dbt и от того, для каких заданий вы настраиваете оркестрацию: dbt или dbt v1. Ознакомьтесь со следующими вариантами:

[![Prefect DAG с использованием потока выполнения задачи dbt Cloud](/img/docs/running-a-dbt-project/prefect_dag_dbt_cloud.jpg?v=2 "Prefect DAG с использованием потока выполнения задачи dbt Cloud")](#)Prefect DAG с использованием потока выполнения задачи dbt Cloud

### Prefect 2

### dbt platform

* Используйте поток [trigger\_dbt\_cloud\_job\_run\_and\_wait\_for\_completion](https://prefecthq.github.io/prefect-dbt/cloud/jobs/#prefect_dbt.cloud.jobs.trigger_dbt_cloud_job_run_and_wait_for_completion).
* По мере выполнения задач вы можете опрашивать dbt, чтобы узнать, завершилась ли задача без ошибок, через [пользовательский интерфейс Prefect (UI)](https://docs.prefect.io/ui/overview/).

### dbt v1

* Используйте задачу [trigger\_dbt\_cli\_command](https://prefecthq.github.io/prefect-dbt/cli/commands/#prefect_dbt.cli.commands.trigger_dbt_cli_command).
* Для получения подробной информации о каждом из этих методов см. [документацию prefect-dbt](https://prefecthq.github.io/prefect-dbt/).

### Prefect 1

### dbt platform

* Запускайте задания dbt с помощью задачи [DbtCloudRunJob](https://docs.prefect.io/api/latest/tasks/dbt.html#dbtcloudrunjob).
* При выполнении этой задачи создаётся артефакт в формате Markdown, доступный для просмотра в интерфейсе Prefect.
* Артефакт будет содержать ссылки на артефакты dbt, созданные в результате выполнения задания.

### dbt v1

* Используйте [DbtShellTask](https://docs.prefect.io/api/latest/tasks/dbt.html#dbtshelltask) для планирования, выполнения и мониторинга ваших запусков dbt.
* Используйте поддерживаемую [ShellTask](https://docs.prefect.io/api/latest/tasks/shell.html#shelltask) для выполнения команд dbt через оболочку.

## Связанные документы

## Связанные материалы

* [Тарифы и цены dbt](https://www.getdbt.com/pricing/)
* [Руководства по быстрому старту](https://docs.getdbt.tech/guides.md)
* [Вебхуки для ваших заданий](https://docs.getdbt.tech/docs/deploy/webhooks.md)
* [Руководства по оркестрации](https://docs.getdbt.tech/guides.md)
* [Команды для развертывания в производственной среде](https://discourse.getdbt.com/t/what-are-the-dbt-commands-you-run-in-your-production-deployment-of-dbt/366)
