Изменения в поведении адаптера Snowflake
Ниже перечислены текущие флаги изменения поведения, специфичные для dbt-snowflake:
| Флаг | dbt-snowflake: введён | dbt-snowflake: переход к стабильному поведению | Статус |
|---|---|---|---|
snowflake_default_transient_dynamic_tables | 1.12.0 | Пока не определено | Активен |
snowflake_managed_iceberg_default | 1.12.0 | Пока не определено | Активен |
Флаг snowflake_default_transient_dynamic_tables
Доступен начиная с dbt-snowflake v1.12. Флаг snowflake_default_transient_dynamic_tables определяет, создаются ли динамические таблицы Snowflake как временные (transient), если в конфигурации модели явно не задан параметр transient.
- Если задано значение
false(по умолчанию): динамические таблицы создаются как постоянные таблицы с периодом Fail-safe, если для конкретной модели не заданоtransient: true. - Если задано значение
true: динамические таблицы создаются как временные (transient), без периода Fail-safe, если в конфигурации модели не указан параметрtransient. Временные динамические таблицы могут снизить затраты на хранение.
Задайте флаг snowflake_default_transient_dynamic_tables в файле dbt_project.yml в разделе flags. Настройку по умолчанию можно переопределить с помощью параметра transient в моделях динамических таблиц.
Флаг snowflake_managed_iceberg_default
В v2 это поведение используется по умолчанию, и задавать флаг не требуется — он отсутствует. Значение external_volume по умолчанию — SNOWFLAKE_MANAGED, а dbt не включает base_location, если таблица использует хранилище под управлением Snowflake.
Доступен начиная с dbt-snowflake v1.12. Флаг snowflake_managed_iceberg_default определяет поведение dbt, когда в модели задано table_format: iceberg для таблицы Iceberg, но не указан external_volume.
Snowflake не допускает указание BASE_LOCATION для таблиц Iceberg, использующих хранилище под управлением Snowflake, и возвращает ошибку BASE_LOCATION property is not supported for Iceberg tables using Snowflake Managed Storage. Этот флаг позволяет dbt генерировать инструкции языка определения данных (DDL), которые принимает Snowflake Horizon, без необходимости настраивать каталог.
- Если задано значение
false(по умолчанию): dbt не включаетexternal_volume. Snowflake использует внешний том по умолчанию, заданный на уровне учётной записи, базы данных или схемы, а dbt по-прежнему генерируетbase_location. - Если задано значение
true: dbt включаетexternal_volume = 'SNOWFLAKE_MANAGED'и не включаетbase_location, поэтому таблица использует хранилище под управлением Snowflake.
По умолчанию флаг имеет значение false, чтобы не менять целевое хранилище для проектов, которые используют внешний том по умолчанию, заданный на уровне учётной записи, базы данных или схемы.
Два случая не зависят от этого флага:
- Если задать для
external_volumeзначениеSNOWFLAKE_MANAGED, dbt всегда исключаетbase_location. dbt сначала определяет значениеexternal_volumeпо конфигурации модели, а затем — по определению каталога вcatalogs.yml, поэтому указание этого значения в любом из этих мест приводит к исключениюbase_location. - Если задать для
external_volumeпользовательский том, например Amazon S3, Azure или Google Cloud Storage, dbt всегда включает иexternal_volume, иbase_location.
Задайте флаг в файле dbt_project.yml в разделе flags:
flags:
snowflake_managed_iceberg_default: true