Перейти к основному содержимому

История запросов моделей EnterpriseEnterprise +

История запросов моделей помогает командам по работе с данными отслеживать использование моделей за счёт анализа журналов запросов.

История запросов модели позволяет:

  • Просматривать количество запросов на потребление для модели на основе логов запросов в хранилище данных.
  • Предоставлять командам аналитиков информацию, чтобы они могли сосредоточить свое время и затраты на инфраструктуру на действительно используемых продуктах данных.
  • Позволять аналитикам находить самые популярные модели, используемые другими людьми.

История запросов модели основана на единственном запросе потребления таблицы логов запросов в вашем хранилище данных, агрегированном на ежедневной основе.

 Что такое запрос на потребление?

Запрос на потребление — это метрика запросов в вашем проекте dbt, которые использовали модель в заданное время. Он фильтруется только по select-запросам, чтобы оценить потребление модели, и исключает выполнения сборки и тестирования моделей dbt.

Например, если model_super_santi был запрошен 10 раз за последнюю неделю, это будет считаться как 10 запросов на потребление за этот период времени.

Поддержка Snowflake (уровень Enterprise или выше) и BigQuery

История запросов моделей для пользователей Snowflake доступна только для Enterprise tier или выше. Эта функция также поддерживает BigQuery. Поддержка дополнительных платформ появится в ближайшее время.

Предварительные условия​

Чтобы получить доступ к функциям, вы должны соответствовать следующим требованиям:

  1. У вас есть аккаунт dbt на тарифе уровня Enterprise. Для аккаунтов с одиночным (single-tenant) размещением необходимо связаться с вашим аккаунт-менеджером для настройки.
  2. Для каждого проекта, который вы хотите анализировать, у вас настроено окружение развертывания production, и в нем выполнен как минимум один успешный запуск job.
  3. У вас есть права администратора в dbt, позволяющие редактировать настройки проекта или production-окружения.
  4. Вы используете Snowflake или BigQuery в качестве хранилища данных и можете включить доступ к истории запросов либо работать с администратором, чтобы это сделать. Поддержка дополнительных платформ данных появится в ближайшее время.
    • Для пользователей Snowflake: у вас обязательно должна быть подписка Snowflake уровня Enterprise или выше.

Включение истории запросов в dbt​

Чтобы включить историю запросов моделей в dbt, выполните следующие шаги:

  1. Перейдите в раздел Orchestration, затем выберите Environments.
  2. Выберите окружение, помеченное как PROD, и нажмите Settings.
  3. Нажмите Edit и прокрутите страницу до раздела Query History.
  4. Нажмите кнопку Test Permissions, чтобы проверить, что права учетных данных для деплоя достаточны для поддержки истории запросов.
  5. Установите флажок Enable query history, чтобы включить функциональность.
  6. Нажмите Save, чтобы сохранить настройки.

dbt автоматически включает историю запросов для совершенно новых сред. Если истории запросов не удаётся получить данные, dbt автоматически отключает её, чтобы предотвратить непредвиденные затраты на вычислительные ресурсы хранилища.

  • If the failure is temporary (like a network timeout), dbt may retry.
  • Если проблема продолжает возникать (например, из‑за отсутствующих разрешений), dbt отключает историю запросов, чтобы клиенты не тратили вычислительные ресурсы хранилища.

To turn it back on, click Test Permissions in Environment settings. If the test succeeds, dbt re-enables the environment.

Enable query history in your environment settings.Enable query history in your environment settings.

Разрешения учетных данных​

В этом разделе описаны разрешения и шаги, которые необходимы для включения и просмотра истории запросов моделей в Catalog.

Функция истории запросов моделей использует учетные данные вашей production-среды для сбора метаданных из журналов запросов вашего хранилища данных. Это означает, что вам могут потребоваться расширенные права доступа в хранилище. Прежде чем вносить какие-либо изменения в разрешения вашей платформы данных, проверьте настроенные разрешения в dbt:

  1. Перейдите в Deploy, затем Environments.
  2. Выберите среду, помеченную как PROD, и нажмите Settings.
  3. Посмотрите информацию под Deployment credentials.
    • Примечание: Запрос истории запросов влечет за собой затраты на хранилище / использование кредитов.
Подтвердите свои учетные данные развертывания на странице настроек вашей среды.Подтвердите свои учетные данные развертывания на странице настроек вашей среды.
  1. Скопируйте или сопоставьте эти разрешения учетных данных с разрешениями хранилища и предоставьте вашему пользователю правильные разрешения.

История запросов моделей в Snowflake​

История запросов моделей использует метаданные из системных таблиц, доступных для аккаунтов Snowflake уровня Enterprise и выше — QUERY_HISTORY и ACCESS_HISTORY. Пользователь Snowflake в production-окружении должен иметь разрешение GOVERNANCE_VIEWER, чтобы иметь доступ к этим данным. Перед включением истории запросов моделей ваш ACCOUNTADMIN должен выполнить следующий GRANT в Snowflake, чтобы обеспечить доступ:

GRANT DATABASE ROLE SNOWFLAKE.GOVERNANCE_VIEWER TO ROLE <YOUR_DBT_CLOUD_DEPLOYMENT_ROLE>;

Без этого разрешения история запросов моделей не будет отображать никакие данные. Подробнее см. документацию Snowflake здесь.

История запросов моделей в BigQuery​

История запросов моделей использует метаданные из представления INFORMATION_SCHEMA.JOBS в BigQuery. Чтобы получить доступ к этим метаданным, пользователь production-окружения должен иметь соответствующую IAM-роль или разрешения для доступа к этим данным:

  • Если вы используете стандартную роль BigQuery, рекомендуется roles/bigquery.resourceViewer.
  • Если вы используете кастомную роль, убедитесь, что она включает разрешение bigquery.jobs.listAll.

Просмотр истории запросов в Explorer​

Чтобы упростить анализ и исследование, вы можете просматривать историю запросов моделей в разных разделах Catalog:

Просмотр из графиков производительности​

  1. Перейдите в Catalog, нажав на ссылку Explore в навигации.
  2. На основной странице Overview нажмите Performance в разделе Project details. Прокрутите страницу вниз, чтобы увидеть Most consumed models.
  3. Используйте выпадающее меню справа, чтобы выбрать нужный период времени — доступны варианты вплоть до последних 3 месяцев.
Просмотр наиболее часто используемых моделей на странице 'Performance' в dbt Catalog.Просмотр наиболее часто используемых моделей на странице 'Performance' в dbt Catalog.
  1. Нажмите на модель для получения более подробной информации и перейдите на вкладку Performance.
  2. На вкладке Performance прокрутите вниз до раздела Model performance.
  3. Выберите вкладку Consumption queries, чтобы просмотреть запросы на потребление за заданное время для этой модели.
Просмотр запросов на потребление с течением времени для данной модели.Просмотр запросов на потребление с течением времени для данной модели.

Просмотр из родословной проекта​

  1. Чтобы просмотреть вашу модель в родословной вашего проекта, перейдите на главную Overview page и нажмите на Project lineage.
  2. В нижнем левом углу вашей родословной нажмите на Lenses и выберите Consumption queries.
Просмотр запросов на потребление модели в вашей родословной с использованием функции 'Lenses'.Просмотр запросов на потребление модели в вашей родословной с использованием функции 'Lenses'.
  1. Ваша родословная должна отображать маленький красный квадрат над каждой моделью, указывающий количество запросов на потребление. Число для каждой модели представляет потребление модели за последние 30 дней.

Просмотр из списка моделей​

  1. Чтобы просмотреть список моделей, перейдите на главную Overview page.
  2. В левой навигации перейдите на вкладку Resources и нажмите на Models, чтобы просмотреть список моделей.
  3. Вы можете просмотреть количество запросов на потребление для моделей и отсортировать по наиболее или наименее потребляемым. Число запросов на потребление для каждой модели представляет потребление за последние 30 дней.
Просмотр потребления моделей на странице списка 'Models' в колонке 'Consumption'.Просмотр потребления моделей на странице списка 'Models' в колонке 'Consumption'.

Нашли ошибку?

0
Loading