Интеграция с другими инструментами оркестрации
Помимо dbt, узнайте о других способах планирования и запуска заданий dbt с помощью инструментов, подобных описанным на этой странице.
Создавайте и устанавливайте эти инструменты, чтобы автоматизировать рабочие процессы обработки данных, запускать задания dbt (включая задания, размещённые в dbt) и работать без лишних хлопот, экономя время и повышая эффективность.
Airflow
Если ваша организация использует Airflow, существует несколько способов запуска dbt задач, включая:
- dbt platform
- dbt v1
Установка провайдера dbt для оркестрации заданий dbt. Этот пакет содержит различные хуки (Hooks), операторы (Operators) и сенсоры (Sensors) для выполнения различных действий в dbt.
Запуск задач dbt v1 через BashOperator. В этом случае обязательно установите dbt в виртуальное окружение, чтобы избежать проблем с конфликтующими зависимостями между Airflow и dbt.
Для получения более подробной информации о каждом из этих методов, включая примеры реализации, ознакомьтесь с этим руководством.
Серверы автоматизации
Серверы автоматизации (такие как CodeDeploy, GitLab CI/CD (видео), Bamboo и Jenkins) могут использоваться для планирования bash команд для dbt. Они также предоставляют интерфейс для просмотра логов в командной строке и интеграции с вашим git-репозиторием.
Azure Data Factory
Интегрируйте dbt и Azure Data Factory (ADF), чтобы обеспечить непрерывный процесс работы с данными — от загрузки до преобразования. Используя dbt API в ADF, вы можете автоматически запускать задания dbt после завершения заданий загрузки данных.
Ниже подробно описано, как запустить задание dbt с помощью API в Azure Data Factory. Чтобы использовать dbt API для запуска задания в dbt через ADF:
- В dbt перейдите к настройкам ежедневного задания для производственной среды и отключите запуск по расписанию в разделе Trigger.
- Создайте конвейер в ADF для запуска задания dbt.
- Настройте безопасное получение служебного токена dbt из хранилища ключей в ADF, используя веб-вызов в качестве первого шага конвейера.
- Задайте параметры конвейера, включая идентификатор аккаунта и идентификатор задания dbt, а также имя хранилища ключей и имя секрета, содержащего служебный токен.
- Идентификаторы задания и аккаунта dbt можно найти в URL. Например, если URL —
https://YOUR_ACCESS_URL/deploy/88888/projects/678910/jobs/123456, то идентификатор аккаунта — 88888, а идентификатор задания — 123456
- Идентификаторы задания и аккаунта dbt можно найти в URL. Например, если URL —
- Запустите конвейер в ADF, чтобы запустить задание dbt, и отслеживайте статус задания dbt в ADF.
- В dbt вы можете проверить статус задания и узнать, каким способом оно было запущено в dbt.
Cron
Cron — это неплохой способ планирования bash команд. Однако, хотя это может показаться простым способом планирования задачи, написание кода для учета всех дополнительных функций, связанных с производственным развертыванием, часто делает этот путь более сложным по сравнению с другими вариантами, перечисленными здесь.
Dagster
Если ваша организация использует Dagster, вы можете использовать библиотеку dagster_dbt, чтобы интегрировать команды dbt в свои пайплайны. Эта библиотека поддерживает выполнение dbt через dbt или dbt v1. При запуске dbt из Dagster автоматически собираются метаданные о запусках dbt. Подробности см. в примере пайплайна.
Рабочие процессы Databricks
Используйте рабочие процессы Databricks для вызова API заданий dbt. Такой подход дает ряд преимуществ: интеграцию с другими ETL-процессами, использование возможностей заданий dbt, разделение ответственности и запуск заданий на основе пользовательских условий или логики. Эти преимущества обеспечивают большую модульность, эффективную отладку и гибкость при планировании заданий dbt.
Подробнее см. в руководстве Рабочие процессы Databricks и задания dbt.
Kestra
Если ваша организация использует Kestra, вы можете воспользоваться плагином dbt для оркестрации заданий dbt и dbt v1. Пользовательский интерфейс (UI) Kestra содержит встроенные Blueprints — готовые к использованию рабочие процессы. Перейдите на страницу Blueprints через левое меню навигации и выберите тег dbt, чтобы найти примеры запуска команд dbt v1 и заданий dbt по расписанию в составе ваших конвейеров данных. После каждого выполнения рабочего процесса по расписанию или по запросу вкладка Outputs в интерфейсе Kestra позволяет скачать и предварительно просмотреть все артефакты сборки dbt. Представления Gantt и Topology дополнительно отображают метаданные, визуализируя зависимости и время выполнения ваших моделей и тестов dbt. Задача dbt предоставляет удобные ссылки для быстрого перехода между интерфейсами Kestra и dbt.
Orchestra
Если ваша организация использует Orchestra, вы можете запускать задания dbt через API dbt. Создайте API-токен в своей учетной записи dbt и используйте его для аутентификации Orchestra в Orchestra Portal. Подробнее см. в документации Orchestra по интеграции с dbt.
Orchestra автоматически собирает метаданные из ваших запусков, чтобы вы могли просматривать ваши задачи dbt в контексте остальной части вашего стека данных.
Ниже приведён пример сведений о запуске в dbt для задания, запущенного через Orchestra:
Ниже приведен пример просмотра родословной в Orchestra для задач dbt:
Prefect
Если в вашей организации используется Prefect, то способ запуска заданий будет зависеть от версии dbt, которую вы используете, а также от того, оркестрируете ли вы задания или dbt v1. Ниже приведены различные возможные варианты:
Если ваша организация использует Prefect, способ запуска заданий зависит от используемой версии dbt и от того, для каких заданий вы настраиваете оркестрацию: dbt или dbt v1. Ознакомьтесь со следующими вариантами:
Prefect 2
- dbt platform
- dbt v1
- Используйте поток trigger_dbt_cloud_job_run_and_wait_for_completion.
- По мере выполнения задач вы можете опрашивать dbt, чтобы узнать, завершилась ли задача без ошибок, через пользовательский интерфейс Prefect (UI).
- Используйте задачу trigger_dbt_cli_command.
- Для получения подробной информации о каждом из этих методов см. документацию prefect-dbt.
Prefect 1
- dbt platform
- dbt v1
- Запускайте задания dbt с помощью задачи DbtCloudRunJob.
- При выполнении этой задачи создаётся артефакт в формате Markdown, доступный для просмотра в интерфейсе Prefect.
- Артефакт будет содержать ссылки на артефакты dbt, созданные в результате выполнения задания.
- Используйте DbtShellTask для планирования, выполнения и мониторинга ваших запусков dbt.
- Используйте поддерживаемую ShellTask для выполнения команд dbt через оболочку.
Связанные документы
Связанные материалы
- Тарифы и цены dbt
- Руководства по быстрому старту
- Вебхуки для ваших заданий
- Руководства по оркестрации
- Команды для развертывания в производственной среде




