Перейти к основному содержимому

Изменения в поведении адаптера Snowflake

Ниже перечислены текущие флаги изменения поведения, специфичные для dbt-snowflake:

Флагdbt-snowflake: введёнdbt-snowflake: переход к стабильному поведениюСтатус
snowflake_default_transient_dynamic_tables1.12.0Пока не определеноАктивен
snowflake_managed_iceberg_default1.12.0Пока не определеноАктивен

Флаг snowflake_default_transient_dynamic_tables​

Доступен начиная с dbt-snowflake v1.12. Флаг snowflake_default_transient_dynamic_tables определяет, создаются ли динамические таблицы Snowflake как временные (transient), если в конфигурации модели явно не задан параметр transient.

  • Если задано значение false (по умолчанию): динамические таблицы создаются как постоянные таблицы с периодом Fail-safe, если для конкретной модели не задано transient: true.
  • Если задано значение true: динамические таблицы создаются как временные (transient), без периода Fail-safe, если в конфигурации модели не указан параметр transient. Временные динамические таблицы могут снизить затраты на хранение.

Задайте флаг snowflake_default_transient_dynamic_tables в файле dbt_project.yml в разделе flags. Настройку по умолчанию можно переопределить с помощью параметра transient в моделях динамических таблиц.

Флаг snowflake_managed_iceberg_default​

dbt v2

В v2 это поведение используется по умолчанию, и задавать флаг не требуется — он отсутствует. Значение external_volume по умолчанию — SNOWFLAKE_MANAGED, а dbt не включает base_location, если таблица использует хранилище под управлением Snowflake.

Доступен начиная с dbt-snowflake v1.12. Флаг snowflake_managed_iceberg_default определяет поведение dbt, когда в модели задано table_format: iceberg для таблицы Iceberg, но не указан external_volume.

Snowflake не допускает указание BASE_LOCATION для таблиц Iceberg, использующих хранилище под управлением Snowflake, и возвращает ошибку BASE_LOCATION property is not supported for Iceberg tables using Snowflake Managed Storage. Этот флаг позволяет dbt генерировать инструкции языка определения данных (DDL), которые принимает Snowflake Horizon, без необходимости настраивать каталог.

  • Если задано значение false (по умолчанию): dbt не включает external_volume. Snowflake использует внешний том по умолчанию, заданный на уровне учётной записи, базы данных или схемы, а dbt по-прежнему генерирует base_location.
  • Если задано значение true: dbt включает external_volume = 'SNOWFLAKE_MANAGED' и не включает base_location, поэтому таблица использует хранилище под управлением Snowflake.

По умолчанию флаг имеет значение false, чтобы не менять целевое хранилище для проектов, которые используют внешний том по умолчанию, заданный на уровне учётной записи, базы данных или схемы.

Два случая не зависят от этого флага:

  • Если задать для external_volume значение SNOWFLAKE_MANAGED, dbt всегда исключает base_location. dbt сначала определяет значение external_volume по конфигурации модели, а затем — по определению каталога в catalogs.yml, поэтому указание этого значения в любом из этих мест приводит к исключению base_location.
  • Если задать для external_volume пользовательский том, например Amazon S3, Azure или Google Cloud Storage, dbt всегда включает и external_volume, и base_location.

Задайте флаг в файле dbt_project.yml в разделе flags:

dbt_project.yml
flags:
snowflake_managed_iceberg_default: true

Нашли ошибку?

0
Loading