Перейти к основному содержимому

Настройка выбора по состоянию (state selection)

State и defer можно задавать как через переменные окружения, так и через флаги CLI:

  • --state или (Версии dbt: v1.11 и новее) DBT_ENGINE_STATE: путь к файлу
  • --defer или (Версии dbt: v1.11 и новее) DBT_ENGINE_DEFER: логическое значение
  • --defer-state или (Версии dbt: v1.11 и новее) DBT_ENGINE_DEFER_STATE: путь к файлу, используемому только для отложенного разрешения ссылок (необязательно)

Если --defer-state не указан, для deferral будут использоваться артефакты, переданные через --state. Это позволяет более гибко управлять поведением в ситуациях, когда вы хотите сравниваться с логическим состоянием из одного окружения или момента времени, а defer выполнять к применённому состоянию из другого окружения или другого момента времени.

Если указаны и флаг, и переменная окружения, приоритет имеет флаг.

Примечания​

  • Артефакты, передаваемые через --state, должны иметь версии схем, совместимые с текущей версией dbt.
  • Это мощные и достаточно сложные возможности. Рекомендуем ознакомиться с известными оговорками и ограничениями, связанными со сравнением состояний.
Синтаксис устарел

В dbt v1.5 мы объявили устаревшим исходный синтаксис для state (DBT_ARTIFACT_STATE_PATH) и defer (DBT_DEFER_TO_STATE). Хотя dbt сохраняет обратную совместимость со старым синтаксисом, мы удалим его в одном из будущих выпусков, который пока не определён.

Статус "result"​

Ещё одним элементом состояния задания является result — результат предыдущего запуска dbt. Например, после выполнения dbt run dbt создаёт артефакт run_results.json, который содержит время выполнения и статусы успеха / ошибок для моделей dbt. Подробнее о run_results.json можно прочитать на странице 'run results'.

Следующие команды dbt создают артефакты run_results.json, результаты которых можно использовать в последующих запусках dbt:

  • dbt run
  • dbt test
  • dbt build
  • dbt seed

После выполнения одной из этих команд вы можете сослаться на результаты, добавив селектор в следующую команду:

(Версии dbt: v1.11 и новее)
# Вместо флага --state также можно задать переменную окружения DBT_ENGINE_STATE.
dbt run --select "result:<status>" --defer --state path/to/prod/artifacts

Доступные варианты зависят от типа ресурса (узла):

result:\<status>modelseedsnapshottest
result:error✅✅✅✅
result:success✅✅✅
result:skipped✅✅✅
result:fail✅
result:warn✅
result:pass✅

Совмещение селекторов state и result​

Селекторы state и result можно комбинировать в одном запуске dbt, чтобы, например, обработать ошибки из предыдущего запуска или любые новые либо изменённые модели.

dbt run --select "result:<status>+" state:modified+ --defer --state ./<dbt-artifact-path>

Статус "source_status"​

Ещё одним элементом состояния задания является source_status предыдущего запуска dbt. Например, после выполнения dbt source freshness dbt создаёт артефакт sources.json, который содержит время выполнения и значения max_loaded_at для источников dbt. Подробнее о sources.json можно прочитать на странице 'sources'.

Команда dbt source freshness создаёт артефакт sources.json, результаты которого можно использовать в последующих запусках dbt.

Когда задание выбрано, dbt предоставит артефакты его последнего успешного запуска. Затем dbt использует эти артефакты, чтобы определить набор источников с более свежими данными. В командах задания можно указать dbt выполнять запуск и тестирование только для источников с более свежими данными и их дочерних узлов, добавив аргумент source_status:fresher+. Для этого артефакт sources.json должен быть доступен как для предыдущего, так и для текущего состояния. Проще говоря, в обоих запусках задания необходимо выполнить dbt source freshness.

После выполнения команды dbt source freshness вы можете сослаться на результаты проверки свежести источников, добавив селектор в следующую команду:

(Версии dbt: v1.11 и новее)
# Вместо флага --state также можно задать переменную окружения DBT_ENGINE_STATE.
dbt source freshness # необходимо запустить повторно, чтобы сравнить текущее состояние с предыдущим
dbt build --select "source_status:fresher+" --state path/to/prod/artifacts

Дополнительные примеры команд приведены в разделе Советы по рабочим процессам.

Другие примеры команд см. в разделе Советы по рабочим процессам.

Нашли ошибку?

0
Loading