Перейти к основному содержимому

Интеграция с другими инструментами оркестрации

Помимо dbt, узнайте о других способах планирования и запуска заданий dbt с помощью инструментов, подобных описанным на этой странице.

Создавайте и устанавливайте эти инструменты, чтобы автоматизировать рабочие процессы обработки данных, запускать задания dbt (включая задания, размещённые в dbt) и работать без лишних хлопот, экономя время и повышая эффективность.

Airflow​

Если ваша организация использует Airflow, существует несколько способов запуска dbt задач, включая:

Установка провайдера dbt для оркестрации заданий dbt. Этот пакет содержит различные хуки (Hooks), операторы (Operators) и сенсоры (Sensors) для выполнения различных действий в dbt.

DAG Airflow с использованием DbtCloudRunJobOperatorDAG Airflow с использованием DbtCloudRunJobOperator
Задание dbt, запущенное из AirflowЗадание dbt, запущенное из Airflow

Для получения более подробной информации о каждом из этих методов, включая примеры реализации, ознакомьтесь с этим руководством.

Серверы автоматизации​

Серверы автоматизации (такие как CodeDeploy, GitLab CI/CD (видео), Bamboo и Jenkins) могут использоваться для планирования bash команд для dbt. Они также предоставляют интерфейс для просмотра логов в командной строке и интеграции с вашим git-репозиторием.

Azure Data Factory​

Интегрируйте dbt и Azure Data Factory (ADF), чтобы обеспечить непрерывный процесс работы с данными — от загрузки до преобразования. Используя dbt API в ADF, вы можете автоматически запускать задания dbt после завершения заданий загрузки данных.

Ниже подробно описано, как запустить задание dbt с помощью API в Azure Data Factory. Чтобы использовать dbt API для запуска задания в dbt через ADF:

  1. В dbt перейдите к настройкам ежедневного задания для производственной среды и отключите запуск по расписанию в разделе Trigger.
  2. Создайте конвейер в ADF для запуска задания dbt.
  3. Настройте безопасное получение служебного токена dbt из хранилища ключей в ADF, используя веб-вызов в качестве первого шага конвейера.
  4. Задайте параметры конвейера, включая идентификатор аккаунта и идентификатор задания dbt, а также имя хранилища ключей и имя секрета, содержащего служебный токен.
    • Идентификаторы задания и аккаунта dbt можно найти в URL. Например, если URL — https://YOUR_ACCESS_URL/deploy/88888/projects/678910/jobs/123456, то идентификатор аккаунта — 88888, а идентификатор задания — 123456
  5. Запустите конвейер в ADF, чтобы запустить задание dbt, и отслеживайте статус задания dbt в ADF.
  6. В dbt вы можете проверить статус задания и узнать, каким способом оно было запущено в dbt.

Cron​

Cron — это неплохой способ планирования bash команд. Однако, хотя это может показаться простым способом планирования задачи, написание кода для учета всех дополнительных функций, связанных с производственным развертыванием, часто делает этот путь более сложным по сравнению с другими вариантами, перечисленными здесь.

Dagster​

Если ваша организация использует Dagster, вы можете использовать библиотеку dagster_dbt, чтобы интегрировать команды dbt в свои пайплайны. Эта библиотека поддерживает выполнение dbt через dbt или dbt v1. При запуске dbt из Dagster автоматически собираются метаданные о запусках dbt. Подробности см. в примере пайплайна.

Рабочие процессы Databricks​

Используйте рабочие процессы Databricks для вызова API заданий dbt. Такой подход дает ряд преимуществ: интеграцию с другими ETL-процессами, использование возможностей заданий dbt, разделение ответственности и запуск заданий на основе пользовательских условий или логики. Эти преимущества обеспечивают большую модульность, эффективную отладку и гибкость при планировании заданий dbt.

Подробнее см. в руководстве Рабочие процессы Databricks и задания dbt.

Kestra​

Если ваша организация использует Kestra, вы можете воспользоваться плагином dbt для оркестрации заданий dbt и dbt v1. Пользовательский интерфейс (UI) Kestra содержит встроенные Blueprints — готовые к использованию рабочие процессы. Перейдите на страницу Blueprints через левое меню навигации и выберите тег dbt, чтобы найти примеры запуска команд dbt v1 и заданий dbt по расписанию в составе ваших конвейеров данных. После каждого выполнения рабочего процесса по расписанию или по запросу вкладка Outputs в интерфейсе Kestra позволяет скачать и предварительно просмотреть все артефакты сборки dbt. Представления Gantt и Topology дополнительно отображают метаданные, визуализируя зависимости и время выполнения ваших моделей и тестов dbt. Задача dbt предоставляет удобные ссылки для быстрого перехода между интерфейсами Kestra и dbt.

Orchestra​

Если ваша организация использует Orchestra, вы можете запускать задания dbt через API dbt. Создайте API-токен в своей учетной записи dbt и используйте его для аутентификации Orchestra в Orchestra Portal. Подробнее см. в документации Orchestra по интеграции с dbt.

Orchestra автоматически собирает метаданные из ваших запусков, чтобы вы могли просматривать ваши задачи dbt в контексте остальной части вашего стека данных.

Ниже приведён пример сведений о запуске в dbt для задания, запущенного через Orchestra:

Пример запуска задачи dbt с помощью OrchestraПример запуска задачи dbt с помощью Orchestra

Ниже приведен пример просмотра родословной в Orchestra для задач dbt:

Пример просмотра родословной для задач dbt в OrchestraПример просмотра родословной для задач dbt в Orchestra

Prefect​

Если в вашей организации используется Prefect, то способ запуска заданий будет зависеть от версии dbt, которую вы используете, а также от того, оркестрируете ли вы задания или dbt v1. Ниже приведены различные возможные варианты:

Если ваша организация использует Prefect, способ запуска заданий зависит от используемой версии dbt и от того, для каких заданий вы настраиваете оркестрацию: dbt или dbt v1. Ознакомьтесь со следующими вариантами:

Prefect DAG с использованием потока выполнения задачи dbt CloudPrefect DAG с использованием потока выполнения задачи dbt Cloud

Prefect 2​

Prefect 1​

  • Запускайте задания dbt с помощью задачи DbtCloudRunJob.
  • При выполнении этой задачи создаётся артефакт в формате Markdown, доступный для просмотра в интерфейсе Prefect.
  • Артефакт будет содержать ссылки на артефакты dbt, созданные в результате выполнения задания.

Связанные материалы​

Нашли ошибку?

0
Loading