Перейти к основному содержимому

Команды заданий

Задание dbt для производственной среды позволяет настроить систему для запуска задания dbt и его команд по расписанию вместо ручного выполнения команд dbt из командной строки или Studio IDE. Задание состоит из команд, объединённых в «цепочку» и выполняемых в виде шагов запуска. Каждый шаг запуска может завершиться успешно или с ошибкой, что может определять статус запуска задания (Success, Cancel или Error).

Каждая job позволяет вам:

  • Настраивать job commands
  • Просматривать детали запусков job, включая тайминги, артефакты и подробные шаги запуска
  • Открывать логи, чтобы просматривать их, помогать с отладкой проблем и видеть историю запусков dbt
  • Настраивать уведомления и другое

Типы команд job​

Job commands — это конкретные задачи, которые выполняются в рамках job. Их можно настроить двумя способами: добавлять dbt-команды или использовать опции‑чекбоксы в разделе Commands.

Во время запуска job команды выполняются «цепочкой» и идут как run steps. При добавлении dbt-команды в разделе Commands вы можете ожидать иные результаты по сравнению с вариантом через чекбоксы.

Настройка флажка и списка командНастройка флажка и списка команд

Встроенные команды​

Каждый запуск job автоматически включает команду dbt deps, поэтому вам не нужно добавлять ее в список Commands в настройках job. Также вы заметите, что у каждой job есть шаг повторного клонирования репозитория и подключения к data platform — это может повлиять на статус job, если эти шаги не выполнятся успешно.

Результат job — Во время запуска job built-in commands выполняются «цепочкой». Это означает, что если один из шагов в цепочке падает, последующие команды не выполняются, а вся job завершается со статусом "Error".

Неудачное задание, в котором возникла ошибка на этапе выполнения dbt deps.Неудачное задание, в котором возникла ошибка на этапе выполнения dbt deps.

Список команд​

Вы можете добавлять или удалять столько команд dbt, сколько необходимо для каждого задания. Однако в задании должна быть хотя бы одна команда dbt. На странице справочника команд dbt некоторые команды помечены как "dbt CLI" или "dbt v1". Это означает, что они предназначены для использования в dbt v1 или dbt CLI, а не в Studio IDE.

Чтобы запускать линтинг в задании, включите Linting при настройке задания CI. В заданиях развертывания этот параметр недоступен, и добавить команду dbt lint в список Commands нельзя. Подробнее о том, как линтинг работает в v1 и v2, какие файлы он проверяет и что происходит при неудачной проверке, см. в разделе Линтинг SQL.

(Версии dbt: v2.0 и новее)

Для заданий v2:

  • Добавлять команду для генерации документации не нужно. Каждый запуск задания автоматически обновляет метаданные Catalog. Подробнее см. в разделе Настройка задания для генерации документации.
  • Чтобы перед построением моделей проверить актуальность исходных данных, добавьте dbt source freshness в список Commands или установите флажок Run source freshness. Подробнее см. в разделе Актуальность источников.
Используйте selectors

Используйте selectors как мощный способ выбирать и выполнять части проекта во время запуска job. Например, чтобы запускать тесты для one_specific_model, используйте селектор: dbt test --select one_specific_model. Job всё равно выполнится, даже если selector не совпадет ни с одной моделью.

Кастомные команды для Compare changes​

Если у вас включена функция Advanced CI compare changes и вы выбрали чекбокс dbt compare, вы можете добавить кастомные dbt-команды, чтобы оптимизировать выполнение сравнения (например, исключить большие модели или группы моделей по тегам). Сравнение на больших моделях может заметно увеличить время выполнения CI jobs.

Добавление кастомных dbt-команд при использовании dbt compareДобавление кастомных dbt-команд при использовании dbt compare

Ниже приведены примеры, показывающие, как можно кастомизировать поле команды dbt compare:

  • Исключить большую модель fct_orders из сравнения, чтобы запускать CI job на меньшем количестве или меньшем размере моделей и сократить время/потребление ресурсов. Используйте следующую команду:

    --select state:modified --exclude fct_orders
  • Исключите модели на основе тегов для сценариев, когда модели имеют общую функцию или характеристику. Используйте следующую команду:

       --select state:modified --exclude tag:tagname_a tag:tagname_b
  • Включите модели, которые были непосредственно изменены, а также те, которые находятся на один шаг ниже по потоку, используя селектор modified+1. Используйте следующую команду:

    --select state:modified+1

Результат job​

Во время запуска job команды выполняются «цепочкой» и идут как run steps. Если один из шагов в цепочке падает, последующие шаги не выполняются, и job завершится с ошибкой.

На изображении ниже первые четыре run steps успешны. Однако если пятый шаг (dbt run --select state:modified+ --full-refresh --fail-fast) падает, следующие шаги не выполняются, и вся job завершается с ошибкой. Неуспешная job возвращает ненулевой exit code и статус job "Error":

Неудачный запуск задания из-за ошибки на одном из этапов выполненияНеудачный запуск задания из-за ошибки на одном из этапов выполнения

Ошибки выполнения job commands​

Ошибки job commands могут означать разные вещи для разных команд. Некоторые распространенные причины, по которым job command может завершиться неуспешно:

  • Ошибка при выполнении dbt run — dbt run выполняет скомпилированные SQL-файлы моделей в текущей целевой базе данных. Команда завершится с ошибкой, если в любой из создаваемых моделей возникнет ошибка. По умолчанию, если выполнение модели завершается с ошибкой, зависимые от неё модели также пропускаются. В dbt v1.12+ можно задать для модели on_error: continue, чтобы разрешить попытку выполнения зависимых от неё моделей, несмотря на ошибку.

  • Ошибка при выполнении dbt test — dbt test запускает тесты, определённые для моделей, источников, снимков и seed-файлов. Тест может пройти успешно, завершиться с ошибкой или выдать предупреждение в зависимости от его уровня серьёзности. Если вы не настроили обработку предупреждений как ошибок, только ошибка приводит к неуспешному завершению команды. Тесты вышестоящих ресурсов блокируют выполнение зависимых ресурсов, а при неуспешном тесте эти ресурсы пропускаются.

  • Ошибка при выполнении dbt build — dbt build запускает модели, тесты, снимки и seed-файлы. Эта команда выполняет ресурсы в порядке, заданном DAG. Если выполнение любого вышестоящего ресурса завершается с ошибкой, все зависимые ресурсы пропускаются, а команда завершается с кодом ошибки 1. В dbt v1.12+ можно задать для модели on_error: continue, чтобы разрешить попытку выполнения зависимых от неё моделей, если выполнение этой модели завершится с ошибкой.

  • Ошибки при использовании селекторов

    • Если select выбирает несколько узлов и выполнение одного из них завершается с ошибкой, задание завершится с кодом 1, а последующая команда завершится с ошибкой. Если указан флаг --fail-fast, первая же ошибка приведёт к закрытию всех соединений для моделей, выполнение которых ещё продолжается.

    • Если selector не совпадает ни с одной нодой, это не считается ошибкой.

Нашли ошибку?

0
Loading