Загрузка внешних метаданных Предварительная версия
Загрузка внешних метаданных позволяет подключаться напрямую к вашему хранилищу данных и просматривать таблицы, представления и другие ресурсы, не определённые в dbt, с помощью Catalog.
В настоящее время ingestion внешних метаданных поддерживается только для Snowflake.
Учетные данные для внешних метаданных позволяют загружать метаданные, существующие за пределами запусков dbt, например сведения о таблицах, представлениях или затратах; как правило, для этого требуется более высокий уровень доступа, чем у сред dbt. Это полезно для обогащения Catalog сведениями из самого хранилища (например, о представлениях Snowflake или характере доступа к данным) и создания единого интерфейса для поиска и изучения данных.
Эти учетные данные настраиваются отдельно от учетных данных окружений dbt и имеют область действия на уровне аккаунта, а не проекта.
Предварительные требования
- У вас должна быть учетная запись dbt на тарифном плане Enterprise или Enterprise+.
- Вы должны быть администратором учетной записи с правом редактировать подключения.
- Учетные данные должны обеспечивать достаточные права на чтение для получения метаданных.
- У вас должна быть включена глобальная навигация.
- Используйте Snowflake в качестве платформы данных.
- Поддержка дополнительных адаптеров появится в ближайшее время!
Инструкции по настройке
Переключатель Ingest external metadata in dbt Catalog (formerly dbt Explorer) удалён из раздела Account settings.
Теперь загрузка внешних метаданных настраивается отдельно для каждого подключения в разделе Platform metadata credentials настроек Connections. Флажок External metadata ingestion отображается только для подключений, для которых загрузка уже была включена.
Настройка подключения к хранилищу
- Перейдите в Account settings.
- Нажмите Connections на левой боковой панели.
- Выберите существующее подключение или создайте New connection, из которого хотите загружать метаданные.
- Прокрутите страницу до раздела Platform metadata credentials. В зависимости от текущей конфигурации вы можете увидеть один из следующих вариантов:
- Если загрузка метаданных платформы еще не настроена, форма учетных данных сразу откроется в режиме редактирования.
- Если вы ранее отменили настройку и видите Add credentials, нажмите эту кнопку, чтобы снова открыть форму.
- Если у вас несколько подключений с одним и тем же идентификатором учетной записи, вам будет предложено настроить загрузку метаданных платформы только для одного из них. Для остальных подключений с тем же идентификатором учетной записи отобразится сообщение о том, что загрузка метаданных платформы уже настроена.
- Введите необходимые учетные данные. Они должны обеспечивать доступ к метаданным на уровне хранилища во всех соответствующих базах данных и схемах.
- В разделе Features выберите, какие функции будут использовать эти учетные данные:
- External metadata ingestion: загружает таблицы, представления и другие метаданные, не относящиеся к dbt, в Catalog. Этот параметр отображается, только если для подключения уже была включена загрузка метаданных.
- Cost insights (необязательно): отображает данные о затратах и производительности хранилища в dbt platform.
- В разделе Catalog filters примените фильтры, чтобы ограничить набор загружаемых метаданных:
- Можно фильтровать по database, schema, table или view.
- Примечание: чтобы включить все базы данных или схемы, введите
.*в поле Allow.
- Примечание: чтобы включить все базы данных или схемы, введите
- Настоятельно рекомендуется ограничить загрузку определенными схемами с помощью фильтров. Дополнительную информацию см. в разделе Важные замечания.
- Эти поля принимают регулярные выражения в формате CSV:
- Пример:
DIMсоответствуетDIM_ORDERSиDIMENSION_TABLE(простое совпадение по вхождению подстроки). - Поддерживаются подстановочные знаки. Например:
DIM*соответствуетDIM_ORDERSиDIM_PRODUCTS.
- Пример:
- Можно фильтровать по database, schema, table или view.
Требуемые учетные данные
В этом разделе настраивается базовый доступ dbt к Snowflake. Создается роль (dbt_metadata_role) с минимально необходимыми правами и пользователь (dbt_metadata_user), предназначенный исключительно для доступа dbt к метаданным. Это обеспечивает четкое и контролируемое разделение доступа, позволяя dbt читать метаданные без предоставления более широких прав. Такая настройка гарантирует, что dbt может читать метаданные для профилирования, документации и lineage, не имея возможности изменять данные или управлять ресурсами.
- Создайте роль:
CREATE OR REPLACE ROLE dbt_metadata_role;
- Предоставьте доступ к warehouse для выполнения запросов просмотра метаданных:
GRANT USAGE ON WAREHOUSE "<your-warehouse>" TO ROLE dbt_metadata_role;
Если для загрузки метаданных ваше хранилище необходимо запускать повторно (автоматическое возобновление работы не включено), вам также может потребоваться предоставить роли права OPERATE.
Если у вас ещё нет пользователя, создайте отдельного пользователя для dbt, предназначенного для доступа к метаданным. Замените <your-password> надёжным паролем, а <your-warehouse> — именем хранилища, использованным выше:
CREATE USER dbt_metadata_user
DISPLAY_NAME = 'dbt Metadata Integration'
PASSWORD = '<your-password>'
DEFAULT_ROLE = dbt_metadata_role
TYPE = 'LEGACY_SERVICE'
DEFAULT_WAREHOUSE = '<your-warehouse>';
- Назначьте роль пользователю:
GRANT ROLE dbt_metadata_role TO USER dbt_metadata_user;
Примечание: используйте сервисные учетные записи только для чтения, чтобы соблюдать принцип минимальных привилегий и улучшить аудит.
Назначение прав доступа к метаданным
В этом разделе описаны минимально необходимые привилегии для чтения метаданных из каждой требуемой базы данных Snowflake. Они обеспечивают доступ к схемам, таблицам, представлениям и информации о lineage, позволяя dbt профилировать и документировать данные, при этом предотвращая любые изменения.
Замените your-database на имя базы данных Snowflake, для которой нужно предоставить доступ к метаданным. Повторите этот блок для каждой соответствующей базы данных:
SET db_var = '"<your-database>"';
-- Grant access to view the database and its schemas
GRANT USAGE ON DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT USAGE ON ALL SCHEMAS IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
-- Grant REFERENCES to enable lineage and dependency analysis
GRANT REFERENCES ON ALL TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT REFERENCES ON FUTURE TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT REFERENCES ON ALL EXTERNAL TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT REFERENCES ON FUTURE EXTERNAL TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT REFERENCES ON ALL VIEWS IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT REFERENCES ON FUTURE VIEWS IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
-- Recommended grant SELECT for privileges to enable metadata introspection and profiling
GRANT SELECT ON ALL TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT SELECT ON FUTURE TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT SELECT ON ALL EXTERNAL TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT SELECT ON FUTURE EXTERNAL TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT SELECT ON ALL VIEWS IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT SELECT ON FUTURE VIEWS IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT SELECT ON ALL DYNAMIC TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT SELECT ON FUTURE DYNAMIC TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
-- Grant MONITOR on dynamic tables (e.g., for freshness or status checks)
GRANT MONITOR ON ALL DYNAMIC TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
GRANT MONITOR ON FUTURE DYNAMIC TABLES IN DATABASE IDENTIFIER($db_var) TO ROLE dbt_metadata_role;
Предоставление доступа к метаданным Snowflake
На этом шаге роли dbt (dbt_metadata_role) предоставляется доступ к системной базе данных Snowflake, что позволяет читать статистику использования, историю запросов и информацию о lineage, необходимую для комплексного анализа метаданных.
Предоставьте права для чтения статистики использования и lineage из системной базы данных Snowflake:
GRANT IMPORTED PRIVILEGES ON DATABASE SNOWFLAKE TO ROLE dbt_metadata_role;
Важные рекомендации
Ниже приведены рекомендации по загрузке внешних метаданных, которые помогут обеспечить согласованную, надежную и масштабируемую интеграцию метаданных из сторонних систем.
- Catalog объединяет общие ресурсы dbt и Snowflake. Например, если таблица Snowflake представляет модель dbt, они отображаются как единый ресурс в Catalog. Для корректного объединения производственная среда и учетные данные для загрузки внешних метаданных должны использовать одно и то же подключение.
- Избегайте дубликатов: по возможности используйте одно подключение для загрузки метаданных на каждую платформу (например, одно для Snowflake, одно для BigQuery).
- Несколько подключений к одному и тому же хранилищу данных могут привести к дублированию метаданных.
- Согласуйте подключение со средой dbt: чтобы объединить информацию о происхождении ресурсов и метаданные, убедитесь, что среда dbt и механизм загрузки внешних метаданных используют одно и то же подключение к хранилищу данных.
- Используйте фильтры, чтобы загружать метаданные только нужных ресурсов:
- Например, ограничьте загрузку только производственными схемами или исключите схемы для непостоянных и временных объектов.
Загрузка внешних метаданных выполняется ежедневно в 17:00 UTC, а также запускается немедленно при каждом обновлении и сохранении учетных данных.