Задания развертывания
Вы можете использовать задания развертывания для создания ресурсов данных в производственной среде. Задания развертывания позволяют легко запускать команды dbt для проекта на вашей облачной платформе данных по расписанию или при наступлении событий. Для каждого запуска задания в dbt создается запись в истории запусков задания и доступен подробный обзор запуска, который предоставляет вам:
- Тип триггера job
- Commit SHA
- Название окружения
- Информация об источниках и документации, если применимо
- Сведения о запуске задания, включая время выполнения, данные о времени выполнения моделей и артефакты
- Подробные шаги запуска с логами и статусами выполнения каждого шага. Для запусков dbt v2 также можно скачать логи OpenTelemetry для отдельных шагов. См. раздел Скачивание логов.
Вы можете создать deploy job и настроить его запуск по расписанию по дням и времени, задать кастомное cron-расписание или запускать job после завершения другой job.
Предварительные требования
- У вас должна быть учетная запись dbt и лицензия Developer.
- Для использования функции запуска по завершении задания ваша учетная запись dbt должна использовать тариф Starter или один из тарифов уровня Enterprise.
- У вас должен быть проект dbt, подключенный к платформе данных.
- У вас должны быть права доступа для просмотра, создания, изменения или запуска заданий.
- Необходимо настроить среду развертывания.
Создание и расписание jobs
dbt использует всемирное координированное время (UTC) для всех заданий, включая задания с расписанием cron. Поправки на ваш местный часовой пояс или переход на летнее время не применяются. Например:
- 0 означает 00:00 (полночь) UTC
- 12 означает 12:00 (полдень) UTC
- 23 означает 23:00 UTC
-
На странице среды развертывания нажмите Create job > Deploy job, чтобы создать новое задание развертывания.
-
Параметры в разделе Job settings:
- Job name — Укажите имя задания развертывания. Например,
Daily build. - (Необязательно) Description — Опишите, что делает задание (например, какие данные оно использует и какие создает).
- Environment — По умолчанию выбрана среда развертывания, из которой вы создали задание развертывания.
- Job name — Укажите имя задания развертывания. Например,
-
Параметры в разделе Execution settings:
- Commands — По умолчанию содержит команду
dbt build. Нажмите Add command, чтобы добавить другие команды, которые должны вызываться при выполнении задания. Во время выполнения задания встроенные команды выполняются последовательно, и если один из шагов завершается с ошибкой, все задание завершается со статусом «Error».
- Run source freshness — Включите этот параметр, чтобы вызывать команду
dbt source freshnessперед выполнением задания развертывания. Если этот шаг завершится с ошибкой, задание все равно может завершиться успешно при условии успешного выполнения последующих шагов. Подробнее см. в разделе Актуальность источников. - dbt State — [dbt State] повторно использует узлы, если их логика и данные не изменились, избегая ненужных повторных сборок. Выберите On, Off или Inherited from environment, чтобы использовать настройку среды. Этот параметр отображается только в том случае, если dbt State включен для вашей учетной записи. Подробнее о включении dbt State для отдельных заданий.
- Commands — По умолчанию содержит команду
-
Параметры в разделе Triggers:
-
Run on schedule — Выполнять задание развертывания по заданному расписанию.
- Timing — Укажите, как настроить расписание задания развертывания: Intervals — запускать задание через заданное число часов, Specific hours — запускать задание в определенное время суток или Cron schedule — запускать задание по расписанию, заданному с помощью синтаксиса cron.
- Days of the week — По умолчанию выбраны все дни недели, если для Timing выбран вариант Intervals или Specific hours.
Использованиеstate:modifiedв задании по расписаниюПри использовании селектора
state:modifiedв задании по расписанию задание может завершиться успешно, не собрав ни одной модели, если с момента последнего запуска, состояние которого используется для отсрочки, не обнаружено изменений. Подробнее и рекомендации см. в разделе Задания по расписанию и state:modified. -
Run when another job finishes — Выполнять задание развертывания, когда другое, предшествующее задание развертывания завершается.
- Project — Укажите родительский проект, содержащий это предшествующее задание развертывания.
- Job — Укажите предшествующее задание развертывания.
- Completes on — Выберите статусы выполнения задания, при которых задание развертывания будет поставлено в очередь.
-
-
(Необязательно) Параметры в разделе Advanced settings:
- Environment variables — Определите переменные среды, чтобы настроить поведение проекта при выполнении задания развертывания.
- Target name — Определите имя целевого окружения, чтобы настроить поведение проекта при выполнении задания развертывания. Переменные среды и имена целевых окружений часто используются как взаимозаменяемые средства настройки.
- Run timeout — Отменять задание развертывания, если время выполнения превышает заданный тайм-аут.
- Compare changes against — По умолчанию выбран вариант No deferral. Выберите Environment или This Job, чтобы указать dbt, с чем сравнивать изменения.
к сведениюБолее ранние версии dbt позволяют использовать для отсрочки только конкретное задание, а не среду. При отсрочке на задание состояние сравнивается с кодом проекта, который выполнялся при последнем успешном запуске выбранного задания. Отсрочка на среду эффективнее: dbt выполняет сравнение с представлением проекта (хранящимся в
manifest.json) из последнего успешного запуска задания развертывания в выбранной среде. Учитывая все задания развертывания, выполняемые в выбранной среде, dbt получает более точное и актуальное представление состояния проекта.- dbt version — По умолчанию версия dbt наследуется из среды. dbt Labs настоятельно рекомендует не изменять настройку по умолчанию. Возможность изменить версию на уровне задания полезна только при обновлении проекта до следующей версии dbt; в остальных случаях несовпадение версий среды и задания может приводить к неожиданному поведению.
- Threads — По умолчанию задано 4 потока. Увеличьте число потоков, чтобы повысить параллелизм выполнения моделей.
Расписание по дням
Чтобы задать расписание job, включите опцию Run on schedule, выберите нужные дни недели и укажите часы или интервалы.
В разделе Timing вы можете использовать регулярные интервалы для jobs, которые должны выполняться часто в течение дня, или указывать конкретные часы для jobs, которые должны выполняться в определенное время:
-
Intervals — Используйте этот вариант, чтобы задать частоту запуска job в часах. Например, если выбрать Every 2 hours, job будет запускаться каждые 2 часа, начиная с полуночи UTC. Это не означает, что первый запуск будет ровно в полночь UTC. Однако последующие запуски всегда будут происходить с одинаковым интервалом. Например, если предыдущий запуск был в 00:04 UTC, следующий будет в 02:04 UTC. Этот вариант полезен, если job нужно запускать несколько раз в день по регулярному интервалу.
-
Specific hours — Используйте этот вариант, чтобы задать конкретные часы запуска job. Можно указать список часов (в UTC) через запятую, когда job должна запускаться. Например, если указать
0,12,23,, job будет запускаться в полночь, в полдень и в 11 вечера UTC. Запуски будут консистентны по часам и дням, так что если job запускается в 00:05, 12:05 и 23:05 UTC, то она будет запускаться в эти же часы каждый день. Этот вариант полезен, если job должна выполняться в определенное время суток и не должна запускаться чаще одного раза в день.
Расписание cron
Чтобы полностью кастомизировать расписание job, выберите опцию Cron schedule и используйте cron‑синтаксис. В этом синтаксисе можно указать минуту, час, день месяца, месяц и день недели, что позволяет задавать сложные расписания (например запуск job в первый понедельник каждого месяца).
Примечание: Расписания Cron в dbt используют UTC, не преобразуются в ваш местный часовой пояс и не учитывают переход на летнее время.
Частота запуска по Cron
Для повышения производительности допустимая частота запуска заданий по расписанию зависит от тарифного плана dbt:
- Тарифный план Developer: dbt устанавливает минимальный интервал между запусками заданий по расписанию в 10 минут. Это означает, что запуск заданий чаще, то есть с интервалом менее 10 минут, не поддерживается.
- Тарифные планы Starter, Enterprise и Enterprise+: ограничений на частоту выполнения заданий нет.
Примеры
Используйте такие инструменты, как crontab.guru, чтобы сформировать корректное выражение cron. Этот инструмент позволяет вводить выражения cron и получать их описание на простом английском языке. Планировщик заданий dbt поддерживает использование L для запуска заданий в последний день месяца.
Примеры cron‑расписаний:
0 * * * *: Каждый час, на нулевой минуте.*/5 * * * *: Каждые 5 минут. (Недоступно на тарифных планах Developer)5 4 * * *: Ровно в 04:05 UTC.30 */4 * * *: На 30-й минуте каждого четвёртого часа (например, в 04:30, 08:30, 12:30 и так далее, по UTC).0 0 */2 * *: В 00:00 (полночь) UTC через день.0 0 * * 1: В полночь UTC каждый понедельник.0 0 L * *: В 00:00 (полночь) в последний день месяца.0 0 L 1,2,3,4,5,6,8,9,10,11,12 *: В 00:00 в последний день месяца, только в январе, феврале, марте, апреле, мае, июне, августе, сентябре, октябре, ноябре и декабре.0 0 L 7 *: В 00:00 в последний день месяца, только в июле.0 0 L * FRI,SAT: В 00:00 в последний день месяца, а также по пятницам и субботам.0 12 L * *: В 12:00 (полдень) в последний день месяца.0 7 L * 5: В 07:00 в последний день месяца, а также по пятницам.30 14 L * *: В 14:30 в последний день месяца.0 4 * * MON#1: В 04:00 в первый понедельник каждого месяца.
Задания по расписанию и state:modified
state:modified и state:modified+ обнаруживают только изменения в коде проекта, конфигурации или метаданных, учитываемых в манифесте, — но не изменения в самих данных, например появление новых строк в исходной таблице. Если dbt не обнаруживает изменений в коде или конфигурации с момента последнего создания манифеста, используемого для отложенного выполнения, задание завершается успешно, не создавая ни одной модели. Это ожидаемое поведение.
Если ваше задание должно создавать модели при каждом запуске по расписанию независимо от изменений в коде, удалите из него селектор state:modified. Используйте его только для CI или заданий слияния, цель которых — создавать только то, что изменилось в конкретном pull request или при слиянии.
Триггер по завершению job StarterEnterpriseEnterprise +
Чтобы связывать deploy jobs в цепочку:
- В разделе Triggers включите опцию Run when another job finishes.
- Выберите проект, в котором находится deploy job, после завершения которой вы хотите запускать вашу job.
- Укажите upstream (родительскую) job, завершение которой будет триггерить вашу job.
- Это также можно настроить через Create Job API.
- В опции Completes on выберите статус(ы) запуска job, при которых deploy job будет поставлена в очередь (enqueue).
- Вы можете настроить конфигурацию, в которой вышестоящее задание запускает несколько нижестоящих (дочерних) заданий, а также задания в других проектах. Для настройки такого запуска у вас должны быть соответствующие разрешения на доступ к проекту и заданию.
Если запуск вашей job был триггернут другой job, ссылку на upstream job можно найти в разделе деталей запуска.
Удаление job
Чтобы удалить одно или несколько заданий в dbt:
- Нажмите Deploy в навигационной панели.
- Нажмите Jobs и выберите задание, которое вы хотите удалить.
- Нажмите Settings в правом верхнем углу страницы, затем нажмите Edit.
- Прокрутите страницу вниз и нажмите Delete job, чтобы удалить задание.
- Подтвердите действие во всплывающем окне, нажав Confirm delete в правом нижнем углу, чтобы немедленно удалить задание. Это действие нельзя отменить. Однако вы можете создать новое задание с теми же параметрами, если удаление было выполнено по ошибке.
- Обновите страницу — удалённое задание должно исчезнуть. Если вы хотите удалить несколько заданий, необходимо выполнить эти шаги для каждого задания.
Если у вас возникли какие‑либо проблемы, вы всегда можете связаться с нами для получения дополнительной помощи.
Мониторинг заданий
На странице Environments есть два раздела, которые дают обзор заданий для выбранного окружения:
- In progress — Список заданий, которые в данный момент выполняются, с информацией о времени запуска
- Top jobs by models built — Ранжирует задания по количеству построенных моделей за определённый период времени
История настроек job
Вы можете просматривать историю изменений настроек job за последние 90 дней.
Чтобы посмотреть историю изменений:
- Перейдите в Orchestration в главном меню и нажмите Jobs.
- Нажмите на название job.
- Нажмите Settings.
- Нажмите History.




