Непрерывное развёртывание в dbt
Чтобы улучшить преобразования данных и быстрее выпускать продукты на основе данных, вы можете запускать задания слияния для реализации рабочего процесса непрерывного развёртывания (CD) в dbt. Задания слияния могут автоматически собирать изменённые модели при слиянии запроса на включение изменений (PR), обеспечивая применение последних изменений кода в рабочей среде. Вам не нужно ждать следующего запуска задания по расписанию, чтобы получить последние обновления.
Вы также можете внедрить непрерывную интеграцию (CI) в dbt, что позволит дополнительно сократить время доставки изменений в рабочую среду и повысить качество кода. Подробнее см. в разделе Непрерывная интеграция в dbt.
Запуск заданий с помощью автоматизации или API
Задания слияния и задания развёртывания запускаются по событиям от вашего провайдера Git или по другим триггерам, настроенным в dbt. Задания слияния, реагирующие на слияния, используют механизм вебхуков, кратко описанный ниже в разделе Как работают задания слияния и подробно рассмотренный в разделе Настройка запуска задания при слиянии в Git.
Чтобы запустить то же задание слияния или развёртывания из собственных инструментов, используйте Administrative API и Trigger Job Run. Сначала настройте и проверьте задание в dbt, запишите идентификаторы учётной записи и задания из URL развёртывания или настроек задания, выполните аутентификацию с помощью сервисных токенов или персональных токенов доступа, сформируйте заголовки HTTPS-запроса и тело JSON согласно описанию Trigger Job Run, а затем отслеживайте полученный запуск в истории заданий вместе с запусками, инициированными вебхуками.
- Запуск CI через данные запроса Administrative API отличается от повторного запуска заданий развёртывания или слияния. Следуйте инструкциям в разделе Запуск задания CI с помощью API на странице Задания CI.
- Интеграции с планировщиками и платформами (например, Airflow и dbt, Prefect, Databricks) собраны на странице Инструменты развёртывания.
Когда вы настраиваете merge jobs, dbt Cloud отслеживает уведомления от вашего Git-провайдера, указывающие на то, что PR был слит. Когда dbt Cloud получает одно из этих уведомлений, оно ставит в очередь новый запуск merge job.
Когда вы настраиваете задания слияния, dbt ожидает уведомлений от вашего провайдера Git о том, что PR был слит. Получив такое уведомление, dbt ставит в очередь новый запуск задания слияния.
Вы можете настроить задания слияния для выполнения одного из следующих действий при слиянии PR:
Команда для выполнения | Описание использования |
|---|---|
dbt build --select state:modified+ | (По умолчанию) Сборка изменённых данных при каждом слиянии. dbt собирает только изменённые модели данных и все зависящие от них объекты, как и в заданиях CI. Это помогает сократить затраты на вычисления и гарантирует, что последние изменения кода всегда попадают в рабочую среду. |
dbt compile | Обновление применённого состояния для эффективных запусков заданий CI с минимальным объёмом работы. dbt генерирует исполняемый SQL-код (из исходных файлов моделей, тестов и аналитических запросов), но не выполняет его. Это гарантирует, что изменения будут отражены в манифесте при следующем запуске задания CI, и позволяет отслеживать только актуальные изменения. |
