Настройка выбора по состоянию (state selection)
State и defer можно задавать как через переменные окружения, так и через флаги CLI:
--stateили (Версии dbt: v1.11 и новее)DBT_ENGINE_STATE: путь к файлу--deferили (Версии dbt: v1.11 и новее)DBT_ENGINE_DEFER: логическое значение--defer-stateили (Версии dbt: v1.11 и новее)DBT_ENGINE_DEFER_STATE: путь к файлу, используемому только для отложенного разрешения ссылок (необязательно)
Если --defer-state не указан, для deferral будут использоваться артефакты, переданные через --state. Это позволяет более гибко управлять поведением в ситуациях, когда вы хотите сравниваться с логическим состоянием из одного окружения или момента времени, а defer выполнять к применённому состоянию из другого окружения или другого момента времени.
Если указаны и флаг, и переменная окружения, приоритет имеет флаг.
Примечания
- Артефакты, передаваемые через
--state, должны иметь версии схем, совместимые с текущей версией dbt. - Это мощные и достаточно сложные возможности. Рекомендуем ознакомиться с известными оговорками и ограничениями, связанными со сравнением состояний.
В dbt v1.5 мы объявили устаревшим исходный синтаксис для state (DBT_ARTIFACT_STATE_PATH) и defer (DBT_DEFER_TO_STATE). Хотя dbt сохраняет обратную совместимость со старым синтаксисом, мы удалим его в одном из будущих выпусков, который пока не определён.
Статус "result"
Ещё одним элементом состояния задания является result — результат предыдущего запуска dbt. Например, после выполнения dbt run dbt создаёт артефакт run_results.json, который содержит время выполнения и статусы успеха / ошибок для моделей dbt. Подробнее о run_results.json можно прочитать на странице 'run results'.
Следующие команды dbt создают артефакты run_results.json, результаты которых можно использовать в последующих запусках dbt:
dbt rundbt testdbt builddbt seed
После выполнения одной из этих команд вы можете сослаться на результаты, добавив селектор в следующую команду:
(Версии dbt: v1.11 и новее)# Вместо флага --state также можно задать переменную окружения DBT_ENGINE_STATE.
dbt run --select "result:<status>" --defer --state path/to/prod/artifacts
Доступные варианты зависят от типа ресурса (узла):
result:\<status> | model | seed | snapshot | test |
|---|---|---|---|---|
result:error | ✅ | ✅ | ✅ | ✅ |
result:success | ✅ | ✅ | ✅ | |
result:skipped | ✅ | ✅ | ✅ | |
result:fail | ✅ | |||
result:warn | ✅ | |||
result:pass | ✅ |
Совмещение селекторов state и result
Селекторы state и result можно комбинировать в одном запуске dbt, чтобы, например, обработать ошибки из предыдущего запуска или любые новые либо изменённые модели.
dbt run --select "result:<status>+" state:modified+ --defer --state ./<dbt-artifact-path>
Статус "source_status"
Ещё одним элементом состояния задания является source_status предыдущего запуска dbt. Например, после выполнения dbt source freshness dbt создаёт артефакт sources.json, который содержит время выполнения и значения max_loaded_at для источников dbt. Подробнее о sources.json можно прочитать на странице 'sources'.
Команда dbt source freshness создаёт артефакт sources.json, результаты которого можно использовать в последующих запусках dbt.
Когда задание выбрано, dbt предоставит артефакты его последнего успешного запуска. Затем dbt использует эти артефакты, чтобы определить набор источников с более свежими данными. В командах задания можно указать dbt выполнять запуск и тестирование только для источников с более свежими данными и их дочерних узлов, добавив аргумент source_status:fresher+. Для этого артефакт sources.json должен быть доступен как для предыдущего, так и для текущего состояния. Проще говоря, в обоих запусках задания необходимо выполнить dbt source freshness.
После выполнения команды dbt source freshness вы можете сослаться на результаты проверки свежести источников, добавив селектор в следующую команду:
# Вместо флага --state также можно задать переменную окружения DBT_ENGINE_STATE.
dbt source freshness # необходимо запустить повторно, чтобы сравнить текущее состояние с предыдущим
dbt build --select "source_status:fresher+" --state path/to/prod/artifacts
Дополнительные примеры команд приведены в разделе Советы по рабочим процессам.
Другие примеры команд см. в разделе Советы по рабочим процессам.