Перейти к основному содержимому

Актуальность источников

dbt предоставляет удобный интерфейс для работы с результатами проверки свежести исходных данных в dbt. Если задание в dbt настроено на выполнение проверок свежести источников, dbt отображает пользовательский интерфейс с результатами последней проверки. Этот интерфейс помогает определить, соответствует ли свежесть исходных данных соглашению об уровне обслуживания (SLA), установленному в вашей организации.

Источники данных в dbtИсточники данных в dbt

Включение проверок свежести источников​

dbt build не включает проверки свежести источников при сборке и тестировании ресурсов в вашем DAG. Вместо этого при настройке заданий можно использовать следующие распространённые подходы:

  • Добавьте dbt build в шаг выполнения для запуска моделей, тестов и так далее.
  • (Версии dbt: v2.0 и новее) При каждом запуске задания метаданные Catalog обновляются автоматически, поэтому отдельный шаг для документации не нужен.
  • Установите флажок Run source freshness, чтобы включить проверку свежести источников в качестве первого шага задания.

Чтобы включить проверки свежести источников, сначала убедитесь, что для ваших источников настроены параметры свежести. Вы можете добавить проверку свежести источников в список команд в шагах выполнения задания или установить соответствующий флажок. Однако результат настройки задания с помощью флажка Run source freshness будет отличаться от результата добавления команды в шаги выполнения.

Чтобы включить снимки актуальности источников, сначала убедитесь, что ваши источники настроены для снимка информации об актуальности. Вы можете добавить актуальность источников в список команд на этапах выполнения задачи или включить флажок. Однако вы можете ожидать разные результаты при настройке задачи, выбрав флажок Run source freshness по сравнению с добавлением команды в этапы выполнения.

Рассмотрите следующие варианты и результаты:

ВариантыРезультаты
Установить флажок Флажок Run source freshness в разделе Execution Settings запускает dbt source freshness первым шагом задания, и сбой этого шага не препятствует выполнению последующих шагов. Если вы хотите, чтобы задание было предназначено исключительно для проверки актуальности источников, всё равно необходимо добавить хотя бы один шаг-заглушку, например dbt compile.
Добавить как шаг выполненияДобавьте команду dbt source freshness в любое место списка шагов выполнения задания. Однако, если данные в источнике устарели, этот шаг завершится с ошибкой, а последующие шаги не будут выполнены. dbt отправит уведомления по электронной почте (если они настроены) в зависимости от итогового состояния этого шага.

Вы можете создать новое задание для проверки актуальности источников.

Если вы не хотите, чтобы ваши модели запускались при устаревших данных в источнике, имеет смысл запускать dbt source freshness первым шагом задания. В противном случае рекомендуем добавить dbt source freshness последним шагом задания или создать отдельное задание только для этой задачи.
Добавление шага для проверки актуальности источниковДобавление шага для проверки актуальности источников

Частота проверки актуальности источников​

Важно, чтобы задания проверки актуальности выполнялись достаточно часто для измерения задержки данных в соответствии с вашими SLA. Например, если для определённого набора данных установлен SLA в 1 час, проверять актуальность этой таблицы (таблица) раз в день было бы нецелесообразно. Как правило, задания проверки актуальности источников следует запускать как минимум вдвое чаще, чем предусмотрено вашим самым коротким SLA. Ниже приведена таблица с примерами подходящей частоты проверок для типичных SLA:

SLAЧастота проверки
1 час30 минут
1 день12 часов
1 неделяОколо одного раза в день

Дополнительное чтение​

  • Подробнее о том, как создавать артефакты dbt, делиться ссылками на актуальную документацию и отчётами об актуальности источников с вашей командой, см. в разделе Артефакты.
  • Актуальность источников в Snowflake рассчитывается с использованием столбца LAST_ALTERED. Об ограничениях читайте в разделе Конфигурации Snowflake.

Нашли ошибку?

0
Loading