Актуальность источников
dbt предоставляет удобный интерфейс для работы с результатами проверки свежести исходных данных в dbt. Если задание в dbt настроено на выполнение проверок свежести источников, dbt отображает пользовательский интерфейс с результатами последней проверки. Этот интерфейс помогает определить, соответствует ли свежесть исходных данных соглашению об уровне обслуживания (SLA), установленному в вашей организации.
Включение проверок свежести источников
dbt build не включает проверки свежести источников при сборке и тестировании ресурсов в вашем DAG. Вместо этого при настройке заданий можно использовать следующие распространённые подходы:
- Добавьте
dbt buildв шаг выполнения для запуска моделей, тестов и так далее. - (Версии dbt: v2.0 и новее) При каждом запуске задания метаданные Catalog обновляются автоматически, поэтому отдельный шаг для документации не нужен.
- Установите флажок Run source freshness, чтобы включить проверку свежести источников в качестве первого шага задания.
Чтобы включить проверки свежести источников, сначала убедитесь, что для ваших источников настроены параметры свежести. Вы можете добавить проверку свежести источников в список команд в шагах выполнения задания или установить соответствующий флажок. Однако результат настройки задания с помощью флажка Run source freshness будет отличаться от результата добавления команды в шаги выполнения.
Чтобы включить снимки актуальности источников, сначала убедитесь, что ваши источники настроены для снимка информации об актуальности. Вы можете добавить актуальность источников в список команд на этапах выполнения задачи или включить флажок. Однако вы можете ожидать разные результаты при настройке задачи, выбрав флажок Run source freshness по сравнению с добавлением команды в этапы выполнения.
Рассмотрите следующие варианты и результаты:
Частота проверки актуальности источников
Важно, чтобы задания проверки актуальности выполнялись достаточно часто для измерения задержки данных в соответствии с вашими SLA. Например, если для определённого набора данных установлен SLA в 1 час, проверять актуальность этой таблицы (таблица) раз в день было бы нецелесообразно. Как правило, задания проверки актуальности источников следует запускать как минимум вдвое чаще, чем предусмотрено вашим самым коротким SLA. Ниже приведена таблица с примерами подходящей частоты проверок для типичных SLA:
| SLA | Частота проверки |
|---|---|
| 1 час | 30 минут |
| 1 день | 12 часов |
| 1 неделя | Около одного раза в день |
Дополнительное чтение
- Подробнее о том, как создавать артефакты dbt, делиться ссылками на актуальную документацию и отчётами об актуальности источников с вашей командой, см. в разделе Артефакты.
- Актуальность источников в Snowflake рассчитывается с использованием столбца
LAST_ALTERED. Об ограничениях читайте в разделе Конфигурации Snowflake.

