Перейти к основному содержимому

Производительность моделей

Catalog предоставляет метаданные о запусках dbt для углубленного анализа производительности и качества моделей. Эта функция помогает командам по работе с данными сократить затраты на инфраструктуру и сэкономить время, показывая, где можно оптимизировать проекты и развертывания — например, за счет рефакторинга моделей или корректировки конфигурации заданий.

Чтобы просмотреть данные о производительности моделей в Catalog:

  1. Перейдите в Catalog в меню слева.
  2. Выберите свой проект на левой боковой панели.
  3. Откройте вкладку Performance.
Обзор навигации по странице производительности.Обзор навигации по странице производительности.
Обучение по запросу

Если вам нравятся видеокурсы, ознакомьтесь с нашим курсом по dbt Catalog, доступным по запросу, и узнайте, как наиболее эффективно исследовать свои проекты dbt!

Страница обзора производительности​

Вы можете определить области для улучшения производительности, используя страницу обзора производительности. Эта страница предоставляет всесторонний анализ всех моделей проекта и отображает самые длительные модели, наиболее часто выполняемые, а также те, которые имеют наибольший процент отказов во время запусков/тестов. Данные могут быть сегментированы по среде и типу задания, что может дать представление о:

  • Наиболее часто выполняемых моделях (общее количество).
  • Моделях с самым длительным временем выполнения (средняя продолжительность).
  • Моделях с наибольшим количеством отказов, с детализацией отказов при запуске (процент и количество) и отказов при тестировании (процент и количество).

Каждая точка данных содержит ссылку на соответствующую модель в Catalog.

Пример страницы обзора производительностиПример страницы обзора производительности

Вы можете просматривать исторические метаданные за последние три месяца. Выберите временной горизонт с помощью фильтра, который по умолчанию установлен на двухнедельный период.

Пример выпадающего спискаПример выпадающего списка

Вкладка производительности модели​

Раздел Производительность модели в Catalog отображает исторические тенденции, которые помогают выявлять возможности для оптимизации и анализировать потребление ресурсов моделью.

Анализ затрат в CatalogАнализ затрат в Catalog

Ключевые метрики​

В разделе Производительность моделей отображаются следующие метрики, которые обобщают общие затраты и эффект от оптимизации для вашего проекта:

  • Общее снижение затрат
  • Общее снижение в %
  • Общее сокращение времени выполнения запросов
  • Повторно использованные ресурсы (когда включены dbt State или оркестрация с учетом состояния)

Фильтры​

Используйте фильтр периода времени, чтобы настроить отображаемые данные: от последних 3 месяцев до последней 1 недели.

На вкладках Анализ затрат, Использование ресурсов и Время выполнения запросов можно задать детализацию отображения: По дням, По неделям или По месяцам.

Вкладки визуализации​

  • Анализ затрат: показывает оценочные затраты на ресурсы хранилища данных для этой модели и снижение затрат благодаря dbt State или оркестрации с учетом состояния.
  • Использование ресурсов: показывает оценочное потребление ресурсов хранилища данных этой моделью с течением времени. На вкладке Использование ресурсов отображается обобщенный показатель использования ресурсов хранилища данных. Конкретная единица измерения зависит от вашего хранилища данных:
    • Snowflake: кредиты
    • BigQuery: слот-часы или объем просканированных данных в байтах (в настоящее время объединены в один обобщенный показатель использования ресурсов)
    • Databricks: Databricks Units (DBU)
    • Amazon Redshift Serverless: часы использования вычислительных единиц Redshift (RPU-часы)
    • Amazon Redshift Provisioned: узло-часы
  • Время выполнения запросов: показывает оценочное время выполнения запросов и сокращение продолжительности выполнения благодаря dbt State или оркестрации с учетом состояния.
  • Время сборки: показывает среднее время выполнения модели и его изменение за выбранный период.
  • Количество сборок: отслеживает, сколько раз модель была собрана или повторно использована, включая случаи сбоев или ошибок.
  • Результаты тестов: отображает результаты выполнения тестов для этой модели и доли успешных и неуспешных тестов.
  • Запросы к модели: показывает запросы, выполняемые к этой модели, и помогает понять, как она используется далее.

Табличное представление​

На вкладках Анализ затрат, Использование ресурсов и Время выполнения запросов можно открыть табличное представление, нажав Показать таблицу. Оно содержит подробные данные об оптимизации, такие как повторно использованные модели, снижение использования ресурсов и снижение затрат.

Используйте кнопки All и Jobs для переключения между представлениями:

  • All: Показывает агрегированные данные о затратах по всем заданиям проекта.
  • Jobs: Показывает данные о затратах в разбивке по отдельным заданиям.

При просмотре таблицы можно экспортировать данные в файл CSV с помощью кнопки Download. Если выбран вариант Jobs, экспортируемый файл CSV содержит данные на уровне отдельных заданий.

Взаимодействие с графиками​

На вкладках Время сборки и Количество сборок:

  • Нажмите на любую точку данных на графиках, чтобы открыть подробную таблицу со списком всех запусков заданий за этот день.
  • Каждая строка таблицы содержит прямую ссылку на сведения о запуске для дальнейшего изучения.
Пример вкладки Model performanceПример вкладки Model performance

Нашли ошибку?

0
Loading