Изменения в поведении адаптера Databricks

Ниже приведены текущие флаги изменения поведения, которые специфичны для dbt-databricks:

Флаг	dbt-databricks: Введение	dbt-databricks: Зрелость
use_info_schema_for_columns	1.9.0	TBD
use_user_folder_for_python	1.9.0	TBD

Использование информационной схемы для столбцов

Флаг use_info_schema_for_columns по умолчанию имеет значение False.

Установка этого флага в True будет использовать information_schema вместо describe extended для получения метаданных столбцов для таблиц Unity Catalog. Эта настройка помогает избежать проблем, когда describe extended обрезает информацию, если тип является сложной структурой. Однако эта настройка пока не является поведением по умолчанию, так как существуют проблемы с производительностью из-за ограничения метаданных Databricks, поскольку необходимо выполнить REPAIR TABLE {{relation}} SYNC METADATA перед запросом, чтобы гарантировать полноту information_schema.

Этот флаг станет поведением по умолчанию, когда дополнительный запрос больше не будет необходим.

Использование папки пользователя для блокнотов моделей на Python

Флаг use_user_folder_for_python по умолчанию имеет значение False и приводит к записи загруженных блокнотов моделей на Python в /Shared/dbt_python_models/{{schema}}/. Установка этого флага в True будет записывать блокноты в /Users/{{current user}}/{{catalog}}/{{schema}}/. Запись в папку Shared устарела в Databricks, так как это не соответствует лучшим практикам управления.

Мы планируем повысить зрелость этого флага в версии v1.10.0.