Перейти к основному содержимому

Непрерывное развёртывание в dbt

Чтобы улучшить преобразования данных и быстрее выпускать продукты на основе данных, вы можете запускать задания слияния для реализации рабочего процесса непрерывного развёртывания (CD) в dbt. Задания слияния могут автоматически собирать изменённые модели при слиянии запроса на включение изменений (PR), обеспечивая применение последних изменений кода в рабочей среде. Вам не нужно ждать следующего запуска задания по расписанию, чтобы получить последние обновления.

Рабочий процесс непрерывного развёртывания в dbtРабочий процесс непрерывного развёртывания в dbt

Вы также можете внедрить непрерывную интеграцию (CI) в dbt, что позволит дополнительно сократить время доставки изменений в рабочую среду и повысить качество кода. Подробнее см. в разделе Непрерывная интеграция в dbt.

Запуск заданий с помощью автоматизации или API​

Задания слияния и задания развёртывания запускаются по событиям от вашего провайдера Git или по другим триггерам, настроенным в dbt. Задания слияния, реагирующие на слияния, используют механизм вебхуков, кратко описанный ниже в разделе Как работают задания слияния и подробно рассмотренный в разделе Настройка запуска задания при слиянии в Git.

Чтобы запустить то же задание слияния или развёртывания из собственных инструментов, используйте Administrative API и Trigger Job Run. Сначала настройте и проверьте задание в dbt, запишите идентификаторы учётной записи и задания из URL развёртывания или настроек задания, выполните аутентификацию с помощью сервисных токенов или персональных токенов доступа, сформируйте заголовки HTTPS-запроса и тело JSON согласно описанию Trigger Job Run, а затем отслеживайте полученный запуск в истории заданий вместе с запусками, инициированными вебхуками.

Когда вы настраиваете merge jobs, dbt Cloud отслеживает уведомления от вашего Git-провайдера, указывающие на то, что PR был слит. Когда dbt Cloud получает одно из этих уведомлений, оно ставит в очередь новый запуск merge job.

Когда вы настраиваете задания слияния, dbt ожидает уведомлений от вашего провайдера Git о том, что PR был слит. Получив такое уведомление, dbt ставит в очередь новый запуск задания слияния.

Вы можете настроить задания слияния для выполнения одного из следующих действий при слиянии PR:

Команда для выполнения
Описание использования
dbt build --select state:modified+(По умолчанию) Сборка изменённых данных при каждом слиянии.

dbt собирает только изменённые модели данных и все зависящие от них объекты, как и в заданиях CI. Это помогает сократить затраты на вычисления и гарантирует, что последние изменения кода всегда попадают в рабочую среду.
dbt compileОбновление применённого состояния для эффективных запусков заданий CI с минимальным объёмом работы.

dbt генерирует исполняемый SQL-код (из исходных файлов моделей, тестов и аналитических запросов), но не выполняет его. Это гарантирует, что изменения будут отражены в манифесте при следующем запуске задания CI, и позволяет отслеживать только актуальные изменения.

Нашли ошибку?

0
Loading