Производительность моделей
Catalog предоставляет метаданные о запусках dbt для углубленного анализа производительности и качества моделей. Эта функция помогает командам по работе с данными сократить затраты на инфраструктуру и сэкономить время, показывая, где можно оптимизировать проекты и развертывания — например, за счет рефакторинга моделей или корректировки конфигурации заданий.
Чтобы просмотреть данные о производительности моделей в Catalog:
- Перейдите в Catalog в меню слева.
- Выберите свой проект на левой боковой панели.
- Откройте вкладку Performance.
Если вам нравятся видеокурсы, ознакомьтесь с нашим курсом по dbt Catalog, доступным по запросу, и узнайте, как наиболее эффективно исследовать свои проекты dbt!
Страница обзора производительности
Вы можете определить области для улучшения производительности, используя страницу обзора производительности. Эта страница предоставляет всесторонний анализ всех моделей проекта и отображает самые длительные модели, наиболее часто выполняемые, а также те, которые имеют наибольший процент отказов во время запусков/тестов. Данные могут быть сегментированы по среде и типу задания, что может дать представление о:
- Наиболее часто выполняемых моделях (общее количество).
- Моделях с самым длительным временем выполнения (средняя продолжительность).
- Моделях с наибольшим количеством отказов, с детализацией отказов при запуске (процент и количество) и отказов при тестировании (процент и количество).
Каждая точка данных содержит ссылку на соответствующую модель в Catalog.
Вы можете просматривать исторические метаданные за последние три месяца. Выберите временной горизонт с помощью фильтра, который по умолчанию установлен на двухнедельный период.
Вкладка производительности модели
Раздел Производительность модели в Catalog отображает исторические тенденции, которые помогают выявлять возможности для оптимизации и анализировать потребление ресурсов моделью.
Ключевые метрики
В разделе Производительность моделей отображаются следующие метрики, которые обобщают общие затраты и эффект от оптимизации для вашего проекта:
- Общее снижение затрат
- Общее снижение в %
- Общее сокращение времени выполнения запросов
- Повторно использованные ресурсы (когда включены dbt State или оркестрация с учетом состояния)
Фильтры
Используйте фильтр периода времени, чтобы настроить отображаемые данные: от последних 3 месяцев до последней 1 недели.
На вкладках Анализ затрат, Использование ресурсов и Время выполнения запросов можно задать детализацию отображения: По дням, По неделям или По месяцам.
Вкладки визуализации
- Анализ затрат: показывает оценочные затраты на ресурсы хранилища данных для этой модели и снижение затрат благодаря dbt State или оркестрации с учетом состояния.
- Использование ресурсов: показывает оценочное потребление ресурсов хранилища данных этой моделью с течением времени. На вкладке Использование ресурсов отображается обобщенный показатель использования ресурсов хранилища данных. Конкретная единица измерения зависит от вашего хранилища данных:
- Snowflake: кредиты
- BigQuery: слот-часы или объем просканированных данных в байтах (в настоящее время объединены в один обобщенный показатель использования ресурсов)
- Databricks: Databricks Units (DBU)
- Amazon Redshift Serverless: часы использования вычислительных единиц Redshift (RPU-часы)
- Amazon Redshift Provisioned: узло-часы
- Время выполнения запросов: показывает оценочное время выполнения запросов и сокращение продолжительности выполнения благодаря dbt State или оркестрации с учетом состояния.
- Время сборки: показывает среднее время выполнения модели и его изменение за выбранный период.
- Количество сборок: отслеживает, сколько раз модель была собрана или повторно использована, включая случаи сбоев или ошибок.
- Результаты тестов: отображает результаты выполнения тестов для этой модели и доли успешных и неуспешных тестов.
- Запросы к модели: показывает запросы, выполняемые к этой модели, и помогает понять, как она используется далее.
Табличное представление
На вкладках Анализ затрат, Использование ресурсов и Время выполнения запросов можно открыть табличное представление, нажав Показать таблицу. Оно содержит подробные данные об оптимизации, такие как повторно использованные модели, снижение использования ресурсов и снижение затрат.
Используйте кнопки All и Jobs для переключения между представлениями:
- All: Показывает агрегированные данные о затратах по всем заданиям проекта.
- Jobs: Показывает данные о затратах в разбивке по отдельным заданиям.
При просмотре таблицы можно экспортировать данные в файл CSV с помощью кнопки Download. Если выбран вариант Jobs, экспортируемый файл CSV содержит данные на уровне отдельных заданий.
Взаимодействие с графиками
На вкладках Время сборки и Количество сборок:
- Нажмите на любую точку данных на графиках, чтобы открыть подробную таблицу со списком всех запусков заданий за этот день.
- Каждая строка таблицы содержит прямую ссылку на сведения о запуске для дальнейшего изучения.




