Перейти к основному содержимому

О истории запросов модели preview

История запросов модели позволяет:

  • Просматривать количество запросов на потребление для модели на основе логов запросов в хранилище данных.
  • Предоставлять командам аналитиков информацию, чтобы они могли сосредоточить свое время и затраты на инфраструктуру на действительно используемых продуктах данных.
  • Позволять аналитикам находить самые популярные модели, используемые другими людьми.

История запросов модели основана на единственном запросе потребления таблицы логов запросов в вашем хранилище данных, агрегированном на ежедневной основе.

 Что такое запрос на потребление?
Поддержка для Snowflake (уровень Enterprise или выше) и BigQuery

История запросов модели для пользователей Snowflake доступна только для уровня Enterprise или выше. Функция также поддерживает BigQuery. Дополнительные платформы появятся в ближайшее время.

Предварительные условия​

Чтобы получить доступ к функциям, вы должны соответствовать следующим требованиям:

  1. У вас есть аккаунт dbt Cloud на плане Enterprise. Аккаунты с одним арендатором должны связаться с представителем своего аккаунта для настройки.
  2. Вы настроили производственную среду развертывания для каждого проекта, который вы хотите исследовать, с как минимум одним успешным запуском задания.
  3. У вас есть административные права в dbt Cloud для редактирования настроек проекта или производственной среды.
  4. Используйте Snowflake или BigQuery в качестве вашего хранилища данных и можете включить разрешения на историю запросов или работать с администратором для этого. Поддержка дополнительных платформ данных появится в ближайшее время.
    • Для пользователей Snowflake: у вас должна быть подписка на уровень Snowflake Enterprise или выше.

Включение истории запросов в dbt Cloud​

Чтобы включить историю запросов модели в dbt Cloud, выполните следующие шаги:

  1. Перейдите в Deploy, затем Environments.
  2. Выберите среду, помеченную как PROD, и нажмите Settings.
  3. Нажмите Edit и прокрутите до раздела Query History, чтобы включить переключатель истории запросов. Когда он зеленый и находится справа, он включен.
  4. Нажмите кнопку Test Permissions, чтобы убедиться, что разрешения учетных данных развертывания достаточны для поддержки истории запросов.
Включите историю запросов в настройках вашей среды.Включите историю запросов в настройках вашей среды.
Пример результата провер�ки разрешений после нажатия на Test Permissions.Пример результата проверки разрешений после нажатия на Test Permissions.

Разрешения учетных данных​

Этот раздел объясняет разрешения и шаги, которые вам нужны для включения и просмотра истории запросов модели в dbt Explorer.

Функция истории запросов модели использует учетные данные в вашей производственной среде для сбора метаданных из логов запросов вашего хранилища данных. Это означает, что вам могут понадобиться повышенные разрешения в хранилище. Перед внесением изменений в разрешения вашей платформы данных подтвердите настроенные разрешения в dbt Cloud:

  1. Перейдите в Deploy, затем Environments.
  2. Выберите среду, помеченную как PROD, и нажмите Settings.
  3. Посмотрите информацию под Deployment credentials.
    • Примечание: Запрос истории запросов влечет за собой затраты на хранилище / использование кредитов.
Подтвердите свои учетные данные развертывания на странице настроек вашей среды.Подтвердите свои учетные данные развертывания на странице настроек вашей среды.

  1. Скопируйте или сопоставьте эти разрешения учетных данных с разрешениями хранилища и предоставьте вашему пользователю правильные разрешения.

     Для Snowflake
     Для BigQuery

Просмотр истории запросов в Explorer​

Чтобы улучшить ваше исследование, вы можете просматривать историю запросов вашей модели в различных местах в dbt Explorer:

Просмотр из графиков производительности​

  1. Перейдите в dbt Explorer, нажав на ссылку Explore в навигации.
  2. На главной странице Overview нажмите на Performance в разделе Project details. Прокрутите вниз, чтобы увидеть Most consumed models.
  3. Используйте выпадающее меню справа, чтобы выбрать желаемый период времени, с доступными опциями до последних 3 месяцев.
Просмотр самых потребляемых моделей на странице 'Performance' в dbt Explorer.Просмотр самых потребляемых моделей на странице 'Performance' в dbt Explorer.
  1. Нажмите на модель для получения более подробной информации и перейдите на вкладку Performance.
  2. На вкладке Performance прокрутите вниз до раздела Model performance.
  3. Выберите вкладку Consumption queries, чтобы просмотреть запросы на потребление за заданное время для этой модели.
Просмотр запросов на потребление с течением времени для данной модели.Просмотр запросов на потребление с течением времени для данной модели.

Просмотр из родословной проекта​

  1. Чтобы просмотреть вашу модель в родословной вашего проекта, перейдите на главную Overview page и нажмите на Project lineage.
  2. В нижнем левом углу вашей родословной нажмите на Lenses и выберите Consumption queries.
Просмотр запросов на потребление модели в вашей родословной с использованием функции 'Lenses'.Просмотр запросов на потребление модели в вашей родословной с использованием функции 'Lenses'.
  1. Ваша родословная должна отображать маленький красный квадрат над каждой моделью, указывающий количество запросов на потребление. Число для каждой модели представляет потребление модели за последние 30 дней.

Просмотр из списка моделей​

  1. Чтобы просмотреть список моделей, перейдите на главную Overview page.
  2. В левой навигации перейдите на вкладку Resources и нажмите на Models, чтобы просмотреть список моделей.
  3. Вы можете просмотреть количество запросов на потребление для моделей и отсортировать по наиболее или наименее потребляемым. Число запросов на потребление для каждой модели представляет потребление за последние 30 дней.
Просмотр потребления моделей на странице списка 'Models' в колонке 'Consumption'.Просмотр потребления моделей на странице списка 'Models' в колонке 'Consumption'.
0
Отредактировать эту страницу