Перейти к основному содержимому

О governance моделей

dbt поддерживает управление моделями, позволяя контролировать, кто может получать доступ к моделям, какие данные они содержат, как они меняются со временем и как на них ссылаются из других проектов. Управление моделями поддерживается в dbt v1 и на dbt platform, при этом набор доступных функций зависит от среды и тарифного плана.

  • Используйте управление моделями, чтобы определять структуру и видимость моделей в dbt v1 и на dbt platform.
  • dbt расширяет эти возможности такими функциями, как межпроектные ссылки ref, которые позволяют масштабировать совместную работу над несколькими проектами благодаря сервису метаданных и Catalog. Эти функции доступны в тарифных планах dbt Enterprise или Enterprise+.

Все перечисленные ниже функции доступны в dbt v1 и на dbt platform, за исключением зависимостей между проектами, которые доступны только в тарифных планах dbt уровня Enterprise.

  • Model access — Помечайте модели как «public» или «private», чтобы отличать зрелые data-продукты от деталей реализации, а также контролировать, кто может вызывать ref для каждой модели.
  • Model contracts — Гарантируйте форму модели (имена колонок, типы данных, ограничения) ещё до её сборки, чтобы избежать неожиданных изменений для downstream-потребителей данных.
  • Model versions — Когда ломающие изменения неизбежны, предоставляйте более плавный путь обновления и период депрекации для downstream-потребителей данных.
  • Model namespaces — Организуйте модели в groups и packages, чтобы обозначить границы ответственности. Модели в разных пакетах могут иметь одинаковые имена, а функция ref может принимать пространство имён проекта или пакета в качестве первого аргумента.
  • Project dependencies — Разрешайте ссылки на public-модели в других проектах («cross-project ref») с помощью постоянно работающего stateful-сервиса метаданных, вместо импорта всех моделей из этих проектов в виде пакетов. Каждый проект предоставляет data-продукты (публичные ссылки на модели), при этом управляя собственными деталями реализации, что позволяет реализовать enterprise data mesh. EnterpriseEnterprise +
Соблюдение SLA по актуальности данных

Используйте dbt State и настройку lag_tolerance для управления актуальностью данных на уровне моделей. Это поможет вашей команде соблюдать соглашения об уровне обслуживания (SLA) в части актуальности данных без лишних пересборок.

Соображения​

Есть несколько моментов, которые стоит учитывать при использовании возможностей управления моделями:

  • Такие функции управления моделями, как доступ к моделям (model access), контракты (contracts) и версии (versions), повышают уровень доверия и стабильности в вашем проекте dbt. Однако из‑за добавления дополнительной структуры они могут усложнить откат изменений (например, при необходимости убрать ограничения доступа к модели) и увеличить затраты на сопровождение, если внедрить их слишком рано.
    Перед тем как добавлять функции управления, стоит оценить, готов ли ваш проект dbt извлечь из них пользу. Внедрение управления на этапе, когда модели все еще активно меняются, может усложнить будущие изменения.

  • Функции управления применяются только к моделям. Они не распространяются на другие типы ресурсов, включая snapshots, seeds или sources. Это связано с тем, что такие объекты могут со временем менять свою структуру (например, snapshots фиксируют изменяющиеся исторические данные) и плохо подходят для предоставления гарантий вроде контрактов, управления доступом или версионирования.

Нашли ошибку?

0