Изучение данных о затратах

Доступ к Cost Insights можно получить в следующих разделах dbt platform:

• Панель проекта
• Страница модели в Catalog
• Страница сведений о задании

Каждое представление предоставляет свой уровень детализации, помогая оценить расходы на хранилище данных и результаты оптимизации. Оценки затрат и их сокращения основаны на предыдущих запусках и отражают фактическое использование ресурсов, а не прогноз будущих затрат.

Предварительные требования

Чтобы просматривать данные о затратах, убедитесь, что у вас есть:

• Одна из ролей, перечисленных в разделе Назначение необходимых разрешений.
• Поддерживаемое хранилище данных:
  • Snowflake
  • BigQuery
  • Databricks
  • Amazon Redshift Предварительная версия

Дополнительную информацию см. в разделе Настройка Cost Insights.

примечание

Для аккаунтов, в которых dbt State или оркестрация с учетом состояния использовались еще до включения Cost Insights, за последние 10 дней должна быть выполнена хотя бы одна полная сборка моделей, чтобы определить базовый уровень для расчета снижения затрат. Если данные о снижении затрат не отображаются, попробуйте выполнить полную сборку, чтобы определить базовый уровень.

Панель проекта

Раздел Cost Insights на панели проекта позволяет получить общее представление о затратах на хранилище данных и результатах оптимизации с помощью dbt State или оркестрации с учетом состояния.

Cost Insights на панели проекта

Доступ

Чтобы перейти на панель проекта, выберите проект в главном меню и нажмите Dashboard.

Ключевые показатели

На панели проекта отображаются следующие показатели, обобщающие затраты и результаты оптимизации для проекта:

• Total cost reduction: сумма, сэкономленная за счет повторного использования ресурсов вместо их повторной сборки в выбранной среде. dbt умножает количество повторных использований каждого ресурса на среднюю стоимость его сборки, а затем суммирует результаты.
• Total % reduction: процент экономии относительно суммы, которую вы заплатили бы без повторного использования ресурсов. dbt рассчитывает этот показатель по формуле (cost without reuse − actual cost) / cost without reuse = total % reduction.
• Total query run time reduction: общее время выполнения запросов, сэкономленное за счет повторного использования ресурсов вместо их повторной сборки. dbt умножает количество повторных использований каждого ресурса на среднее время выполнения запросов при его сборке, а затем суммирует результаты.
• Reused assets: общее количество повторных использований ресурсов выбранных типов средствами dbt в выбранной среде за указанный период. По умолчанию учитываются модели и тесты.

Фильтры

Вы можете настроить отображаемые данные о затратах с помощью следующих фильтров:

• Deployment type: Production (производственная среда) или Staging (предпроизводственная среда)
• Last: 30, 60, 90 дней, 6 месяцев или 1 год
• View: Daily (по дням), Weekly (по неделям) или Monthly (по месяцам)
• Assets: All (все), Models (модели), Tests (тесты)

Вкладки визуализации

На панели проекта доступны следующие вкладки, которые помогают анализировать динамику затрат и результатов оптимизации.

• Cost: показывает оценку сокращения затрат на сборку при использовании dbt State или оркестрации с учетом состояния.
• Usage: показывает оценку потребления ресурсов хранилища данных и его сокращения благодаря dbt State или оркестрации с учетом состояния за выбранный период. На вкладке Usage потребление ресурсов хранилища данных представлено обобщенным показателем. Конкретная единица измерения зависит от хранилища данных:
  • Snowflake: кредиты
  • BigQuery: слот-часы или количество просканированных байтов (в настоящее время объединены в один обобщенный показатель потребления)
  • Databricks: единицы Databricks (DBU)
  • Amazon Redshift Serverless: часы использования вычислительных единиц Redshift (RPU-часы)
  • Amazon Redshift Provisioned: узло-часы
• Query run time: показывает оценку сокращения времени сборки при использовании dbt State или оркестрации с учетом состояния.
• Builds: показывает общее количество сборок с разбивкой на ресурсы, собранные заново, и ресурсы, повторно использованные благодаря dbt State или оркестрации с учетом состояния.

Табличное представление

Нажмите Show table, чтобы открыть табличное представление с подробными данными об оптимизации, такими как повторно использованные модели, сокращение потребления ресурсов и снижение затрат.

Используйте кнопки All и Jobs для переключения между представлениями:

• All: Показывает агрегированные данные о затратах по всем заданиям проекта.
• Jobs: Показывает данные о затратах в разбивке по отдельным заданиям.

При просмотре таблицы можно экспортировать данные в файл CSV с помощью кнопки Download. Если выбран вариант Jobs, экспортируемый файл CSV содержит данные на уровне отдельных заданий.

Производительность модели в Catalog

Раздел Производительность модели в Catalog отображает исторические тенденции, которые помогают выявлять возможности для оптимизации и анализировать потребление ресурсов моделью.

Анализ затрат в Catalog

Доступ

Чтобы просмотреть данные о производительности модели:

1. В главном меню перейдите в Catalog.
2. Выберите свой проект в дереве файлов.
3. Перейдите к модели, данные о затратах которой хотите просмотреть. Вы можете найти ее с помощью поиска или нажать Models в разделе Project assets на боковой панели, чтобы просмотреть все доступные модели проекта.
4. Перейдите на вкладку Performance на странице сведений о модели.

Ключевые метрики

В разделе Производительность моделей отображаются следующие метрики, которые обобщают общие затраты и эффект от оптимизации для вашего проекта:

• Общее снижение затрат
• Общее снижение в %
• Общее сокращение времени выполнения запросов
• Повторно использованные ресурсы (когда включены dbt State или оркестрация с учетом состояния)

Фильтры

Используйте фильтр периода времени, чтобы настроить отображаемые данные: от последних 3 месяцев до последней 1 недели.

На вкладках Анализ затрат, Использование ресурсов и Время выполнения запросов можно задать детализацию отображения: По дням, По неделям или По месяцам.

Вкладки визуализации

• Анализ затрат: показывает оценочные затраты на ресурсы хранилища данных для этой модели и снижение затрат благодаря dbt State или оркестрации с учетом состояния.
• Использование ресурсов: показывает оценочное потребление ресурсов хранилища данных этой моделью с течением времени. На вкладке Использование ресурсов отображается обобщенный показатель использования ресурсов хранилища данных. Конкретная единица измерения зависит от вашего хранилища данных:
  • Snowflake: кредиты
  • BigQuery: слот-часы или объем просканированных данных в байтах (в настоящее время объединены в один обобщенный показатель использования ресурсов)
  • Databricks: Databricks Units (DBU)
  • Amazon Redshift Serverless: часы использования вычислительных единиц Redshift (RPU-часы)
  • Amazon Redshift Provisioned: узло-часы
• Время выполнения запросов: показывает оценочное время выполнения запросов и сокращение продолжительности выполнения благодаря dbt State или оркестрации с учетом состояния.
• Время сборки: показывает среднее время выполнения модели и его изменение за выбранный период.
• Количество сборок: отслеживает, сколько раз модель была собрана или повторно использована, включая случаи сбоев или ошибок.
• Результаты тестов: отображает результаты выполнения тестов для этой модели и доли успешных и неуспешных тестов.
• Запросы к модели: показывает запросы, выполняемые к этой модели, и помогает понять, как она используется далее.

Табличное представление

На вкладках Анализ затрат, Использование ресурсов и Время выполнения запросов можно открыть табличное представление, нажав Показать таблицу. Оно содержит подробные данные об оптимизации, такие как повторно использованные модели, снижение использования ресурсов и снижение затрат.

Используйте кнопки All и Jobs для переключения между представлениями:

• All: Показывает агрегированные данные о затратах по всем заданиям проекта.
• Jobs: Показывает данные о затратах в разбивке по отдельным заданиям.

При просмотре таблицы можно экспортировать данные в файл CSV с помощью кнопки Download. Если выбран вариант Jobs, экспортируемый файл CSV содержит данные на уровне отдельных заданий.

Взаимодействие с графиками

На вкладках Время сборки и Количество сборок:

• Нажмите на любую точку данных на графиках, чтобы открыть подробную таблицу со списком всех запусков заданий за этот день.
• Каждая строка таблицы содержит прямую ссылку на сведения о запуске для дальнейшего изучения.

Сведения о задании

Раздел Insights на странице сведений о задании содержит данные о затратах и производительности для отдельных заданий.

Cost Insights в сведениях о задании

Доступ

Чтобы открыть сведения о задании, выберите проект в главном меню и перейдите в Orchestration > Jobs. Выберите задание, данные о затратах которого хотите просмотреть.

Фильтры

На вкладке Runs можно использовать фильтр Last для просмотра данных за последнюю неделю, 14 или 30 дней.

На вкладках Cost, Usage, Query run time и Builds можно настроить отображаемые данные о затратах с помощью следующих фильтров:

• Last: 30, 60, 90 дней, 6 месяцев или 1 год
• View: Daily (по дням), Weekly (по неделям), Monthly (по месяцам)
• Assets: All (все), Models (модели), Tests (тесты)

Вкладки визуализации

• Runs: отображает долю успешных запусков и длительность выполнения в минутах для последних запусков. Можно выбрать период: Last week (последняя неделя), Last 14 days (последние 14 дней) или Last 30 days (последние 30 дней).
• Cost: показывает оценку сокращения затрат на сборку при использовании dbt State или оркестрации с учетом состояния.
• Usage: показывает оценку потребления ресурсов хранилища данных и его сокращения благодаря dbt State или оркестрации с учетом состояния за выбранный период. На вкладке Usage потребление ресурсов хранилища данных представлено обобщенным показателем. Конкретная единица измерения зависит от хранилища данных:
  • Snowflake: кредиты
  • BigQuery: слот-часы или количество просканированных байтов (в настоящее время объединены в один обобщенный показатель потребления)
  • Databricks: единицы Databricks (DBU)
  • Amazon Redshift Serverless: часы использования вычислительных единиц Redshift (RPU-часы)
  • Amazon Redshift Provisioned: узло-часы
• Query run time: показывает оценку времени выполнения запросов и сокращения длительности выполнения благодаря dbt State или оркестрации с учетом состояния.
• Builds: показывает количество собранных ресурсов в сравнении с количеством ресурсов, повторно использованных благодаря dbt State или оркестрации с учетом состояния.

Табличное представление

На вкладках Cost, Usage, Query run time и Builds можно нажать Show table, чтобы открыть табличное представление с подробными данными об оптимизации, такими как повторно использованные модели, сокращение потребления ресурсов и снижение затрат.

Используйте кнопки All и Jobs для переключения между представлениями:

• All: Показывает агрегированные данные о затратах по всем заданиям проекта.
• Jobs: Показывает данные о затратах в разбивке по отдельным заданиям.

При просмотре таблицы можно экспортировать данные в файл CSV с помощью кнопки Download. Если выбран вариант Jobs, экспортируемый файл CSV содержит данные на уровне отдельных заданий.

Нашли ошибку?

Создать GitHub Issue