full_refresh
Конфигурация full_refresh позволяет задать, будет ли для ресурса полное обновление выполняться всегда или не будет выполняться никогда. Эта конфигурация имеет приоритет над флагом командной строки --full-refresh.
- Models
- Seeds
models:
<resource-path>:
+full_refresh: false | true
{{ config(
full_refresh = false | true
) }}
select ...
seeds:
<resource-path>:
+full_refresh: false | true
Описание
Конфигурация full_refresh позволяет опционально задать, будет ли ресурс всегда или никогда выполнять полный пересчёт (full refresh). Эта конфигурация является переопределением флага командной строки --full-refresh, который используется при запуске команд dbt.
Вы можете задать конфигурацию full_refresh в файле dbt_project.yml или в конфигурации конкретного ресурса.
Значение full_refresh | Поведение |
|---|---|
Если установлено в true | Ресурс всегда выполняет полный пересчёт, независимо от того, передаёте ли вы флаг --full-refresh в команде dbt. |
Если установлено в false | Ресурс никогда не выполняет полный пересчёт, независимо от того, передаёте ли вы флаг --full-refresh в команде dbt. |
Если установлено в none или не указано | Ресурс следует поведению флага --full-refresh. Если флаг используется, ресурс выполнит полный пересчёт; в противном случае — нет. |
Снапшоты игнорируют как параметр конфигурации full_refresh, так и флаг --full-refresh. Команда, например dbt build --full-refresh или dbt snapshot --full-refresh, включающая узел снапшота, выполняет его в обычном режиме — таблица снапшота не удаляется и не создаётся заново, поэтому существующая история снапшота сохраняется.
Примечание
- Флаг
--full-refreshтакже поддерживает сокращённую форму-f. - В макросе
should_full_refresh()реализована соответствующая логика.
Использование
Инкрементные модели
Seeds
Рекомендация
-
Устанавливайте
full_refresh: falseдля моделей с особенно большими наборами данных, которые вы никогда не хотели бы, чтобы dbt полностью удалял и пересоздавал. -
Вы не можете переопределить уже заданный параметр
full_refresh. Чтобы изменить его поведение в определённых случаях, необходимо удалить логику конфигурации или обновить её с использованием переменных, чтобы при необходимости поведение можно было переопределять. Например, если у вас есть инкрементальная модель со следующей конфигурацией:{{ config(
materialized = 'incremental',
full_refresh = var("force_full_refresh", false)
) }}Тогда вы можете переопределить параметр
full_refresh, установив его вtrue, с помощью флага--vars:
dbt run --vars '{"force_full_refresh": true}'.