# Анализ наших сборок

## Анализ наших сборок

* ⌚ dbt отслеживает, **сколько времени заняло построение каждой модели**, когда оно началось и завершилось, статус выполнения (error, warn или success), тип материализации и *многое* другое.
* 🖼️ Эта информация хранится в нескольких файлах, которые dbt называет **артефактами**.
* 📊 Артефакты содержат огромное количество информации в формате JSON, поэтому читать их непросто, но **dbt** собирает самые полезные сведения в наглядную **визуализацию**.
* ☁️ Если вы не используете dbt platform, вы всё равно можете использовать результаты работы **dbt CLI для анализа запусков**.

### Время выполнения модели

Именно здесь особенно полезна визуализация времени выполнения моделей в dbt. Если мы настроили [задание](https://docs.getdbt.tech/guides/bigquery.md) в dbt для запуска наших моделей, то можем использовать [**вкладку Model Timing**](https://docs.getdbt.tech/docs/deploy/run-visibility.md#model-timing-tab), чтобы найти модели с самым долгим временем выполнения.

* 📊 В верхней части вкладки **карточки метрик** показывают самые важные показатели: расчётный критический путь, пиковое число одновременно выполняемых моделей, среднее число активных моделей, модель с самым долгим временем выполнения, общее время выполнения и самое позднее время начала.
* ⌛ **Шкала выполнения (Execution timeline)** показывает все ресурсы в виде диаграммы Ганта. Ресурсы можно **группировать** по типу, папке, этапу выполнения, потоку или отображать без группировки, а также **выделять** по расчётному критическому пути, длительности или отображать все одинаково — это позволяет сразу заметить узкие места.
* 🔎 Используйте **поле поиска**, чтобы отфильтровать шкалу по имени ресурса, и наведите указатель на любую полосу, чтобы увидеть подробную информацию.
* 📈 **График числа одновременно выполняемых моделей (Concurrency over time)** показывает активность моделей на протяжении всего запуска. Каждый столбец разделён на **активные модели (Active models)** и **модели в очереди / готовые к выполнению (Queued / ready)**, поэтому можно увидеть, сколько моделей выполнялось и сколько ожидало в любой момент времени. На графике также отображается пиковое число одновременно выполняемых моделей за время запуска.
* 📋 **Таблица сведений о ресурсах (Resource details)** содержит все ресурсы с указанием имени, времени начала, времени окончания, длительности, этапа выполнения, принадлежности к расчётному критическому пути, типа ресурса и папки.
* 1️⃣ Если задание содержит один вызов dbt (например, `dbt build`), вкладка времени выполнения моделей отражает время выполнения всех моделей.
* 🔢 Если задание включает несколько команд dbt (например, `dbt build`, за которой следует `dbt compile`), вкладка времени выполнения моделей отражает только модели из последней команды (`dbt compile`). Для моделей, выполнявшихся в обеих командах, на диаграмме отображается время выполнения из последнего вызова. Модели, которые не были повторно вызваны в последней команде, сохраняют время выполнения из предыдущей команды (`dbt build`).

[![Карточки метрик с ключевой статистикой запуска, включая расчётный критический путь, пиковое число одновременно выполняемых моделей и модель с самым долгим временем выполнения](/img/docs/dbt-platform/deployment/model-timing-metric-tiles.png?v=2 "Карточки метрик с ключевой статистикой запуска, включая расчётный критический путь, пиковое число одновременно выполняемых моделей и модель с самым долгим временем выполнения")](#)Карточки метрик с ключевой статистикой запуска, включая расчётный критический путь, пиковое число одновременно выполняемых моделей и модель с самым долгим временем выполнения

[![Шкала выполнения, показывающая все ресурсы запуска в виде диаграммы Ганта](/img/docs/dbt-platform/deployment/model-timing-timeline.png?v=2 "Шкала выполнения, показывающая все ресурсы запуска в виде диаграммы Ганта")](#)Шкала выполнения, показывающая все ресурсы запуска в виде диаграммы Ганта

[![График числа одновременно выполняемых моделей, показывающий активные модели и модели в очереди / готовые к выполнению на протяжении всего запуска](/img/docs/dbt-platform/deployment/model-timing-concurrency.png?v=2 "График числа одновременно выполняемых моделей, показывающий активные модели и модели в очереди / готовые к выполнению на протяжении всего запуска")](#)График числа одновременно выполняемых моделей, показывающий активные модели и модели в очереди / готовые к выполнению на протяжении всего запуска

[![Таблица сведений о ресурсах с указанием времени начала, времени окончания, длительности, этапа выполнения, принадлежности к критическому пути, типа и папки каждой модели](/img/docs/dbt-platform/deployment/model-timing-resource-details.png?v=2 "Таблица сведений о ресурсах с указанием времени начала, времени окончания, длительности, этапа выполнения, принадлежности к критическому пути, типа и папки каждой модели")](#)Таблица сведений о ресурсах с указанием времени начала, времени окончания, длительности, этапа выполнения, принадлежности к критическому пути, типа и папки каждой модели

Если вы не используете dbt, ничего страшного! Красивой визуализации из коробки у нас не будет, но мы можем использовать вывод CLI dbt v1, чтобы проверить время выполнения моделей. К тому же это отличная возможность познакомиться с этим выводом.

### Вывод CLI dbt v1

Если вы когда-либо запускали dbt, будь то `build`, `test`, `run` или что-то еще, вы видели вывод, подобный приведенному ниже. Давайте более внимательно посмотрим, как его читать.

[![Вывод команды dbt build в CLI](/img/best-practices/materializations/dbt-build-output.png?v=2 "Вывод команды dbt build в CLI")](#)Вывод команды dbt build в CLI

* Для каждой модели есть две записи: **начало** сборки модели и **завершение**, которое будет включать **время**, затраченное на выполнение модели. Также включен **тип** модели. Например:

```shell
20:24:51  5 of 10 START sql view model main.stg_products ......... [RUN]
20:24:51  5 of 10 OK created sql view model main.stg_products .... [OK in 0.13s]
```

* 5️⃣  На **обеих строках** мы видим, что наша модель `stg_products` является 5-й из 10 объектов, которые строятся, отметку времени, когда она началась, что она была определена в SQL (в отличие от python), и что это было представление.
* 🆕  На **первой строке** мы видим отметку времени, когда модель **начала**.
* ✅  На **второй строке** — которая *не обязательно* идет сразу после, благодаря потокам другие модели могут начинаться и заканчиваться, пока эта модель выполняется — мы видим запись о **завершении**, которая добавляет **статус**, в данном случае `OK`, и **время сборки**, молниеносные 0.13 секунды. Это неудивительно, учитывая, что мы знаем о представлениях.
* 🏎️  **Представления обычно должны занимать менее секунды или двух,** это таблицы и инкрементальные модели, за которыми вы захотите следить более внимательно с помощью этих инструментов.

### Пакет dbt Artifacts

* 🎨  Наконец, когда дело доходит до анализа ваших запусков dbt, вы **не остаетесь без наглядных визуализаций**, даже если используете dbt v1. Это не настроено «из коробки», но если вы хотите глубже проанализировать свой проект, можно использовать пакет [dbt Artifacts](https://github.com/brooklyn-data/dbt_artifacts).
* 👩‍🎨  Он предоставляет модели, которые можно **визуализировать для каждого аспекта вашего проекта** на очень детальном уровне.
* ⌚  Вы можете использовать его, чтобы **создать собственные визуализации времени выполнения моделей** в вашем BI‑инструменте, а также любые другие отчёты, необходимые для контроля вашей стратегии materialization.
