Анализ наших сборок
Анализ наших сборок
- ⌚ dbt отслеживает, сколько времени заняло построение каждой модели, когда оно началось и завершилось, статус выполнения (error, warn или success), тип материализации и многое другое.
- 🖼️ Эта информация хранится в нескольких файлах, которые dbt называет артефактами.
- 📊 Артефакты содержат огромное количество информации в формате JSON, поэтому читать их непросто, но dbt собирает самые полезные сведения в наглядную визуализацию.
- ☁️ Если вы не используете dbt platform, вы всё равно можете использовать результаты работы dbt CLI для анализа запусков.
Время выполнения модели
Именно здесь особенно полезна визуализация времени выполнения моделей в dbt. Если мы настроили задание в dbt для запуска наших моделей, то можем использовать вкладку Model Timing, чтобы найти модели с самым долгим временем выполнения.
- 📊 В верхней части вкладки карточки метрик показывают самые важные показатели: расчётный критический путь, пиковое число одновременно выполняемых моделей, среднее число активных моделей, модель с самым долгим временем выполнения, общее время выполнения и самое позднее время начала.
- ⌛ Шкала выполнения (Execution timeline) показывает все ресурсы в виде диаграммы Ганта. Ресурсы можно группировать по типу, папке, этапу выполнения, потоку или отображать без группировки, а также выделять по расчётному критическому пути, длительности или отображать все одинаково — это позволяет сразу заметить узкие места.
- 🔎 Используйте поле поиска, чтобы отфильтровать шкалу по имени ресурса, и наведите указатель на любую полосу, чтобы увидеть подробную информацию.
- 📈 График числа одновременно выполняемых моделей (Concurrency over time) показывает активность моделей на протяжении всего запуска. Каждый столбец разделён на активные модели (Active models) и модели в очереди / готовые к выполнению (Queued / ready), поэтому можно увидеть, сколько моделей выполнялось и сколько ожидало в любой момент времени. На графике также отображается пиковое число одновременно выполняемых моделей за время запуска.
- 📋 Таблица сведений о ресурсах (Resource details) содержит все ресурсы с указанием имени, времени начала, времени окончания, длительности, этапа выполнения, принадлежности к расчётному критическому пути, типа ресурса и папки.
- 1️⃣ Если задание содержит один вызов dbt (например,
dbt build), вкладка времени выполнения моделей отражает время выполнения всех моделей. - 🔢 Если задание включает несколько команд dbt (например,
dbt build, за которой следуетdbt compile), вкладка времени выполнения моделей отражает только модели из последней команды (dbt compile). Для моделей, выполнявшихся в обеих командах, на диаграмме отображается время выполнения из последнего вызова. Модели, которые не были повторно вызваны в последней команде, сохраняют время выполнения из предыдущей команды (dbt build).
Если вы не используете dbt, ничего страшного! Красивой визуализации из коробки у нас не будет, но мы можем использовать вывод CLI dbt v1, чтобы проверить время выполнения моделей. К тому же это отличная возможность познакомиться с этим выводом.
Вывод CLI dbt v1
Если вы когда-либо запускали dbt, будь то build, test, run или что-то еще, вы видели вывод, подобный приведенному ниже. Давайте более внимательно посмотрим, как его читать.
- Для каждой модели есть две записи: начало сборки модели и завершение, которое будет включать время, затраченное на выполнение модели. Также включен тип модели. Например:
20:24:51 5 of 10 START sql view model main.stg_products ......... [RUN]
20:24:51 5 of 10 OK created sql view model main.stg_products .... [OK in 0.13s]
- 5️⃣ На обеих строках мы видим, что наша модель
stg_productsявляется 5-й из 10 объектов, которые строятся, отметку времени, когда она началась, что она была определена в SQL (в отличие от python), и что это было представление. - 🆕 На первой строке мы видим отметку времени, когда модель начала.
- ✅ На второй строке — которая не обязательно идет сразу после, благодаря потокам другие модели могут начинаться и заканчиваться, пока эта модель выполняется — мы видим запись о завершении, которая добавляет статус, в данном случае
OK, и время сборки, молниеносные 0.13 секунды. Это неудивительно, учитывая, что мы знаем о представлениях. - 🏎️ Представления обычно должны занимать менее секунды или двух, это таблицы и инкрементальные модели, за которыми вы захотите следить более внимательно с помощью этих инструментов.
Пакет dbt Artifacts
- 🎨 Наконец, когда дело доходит до анализа ваших запусков dbt, вы не остаетесь без наглядных визуализаций, даже если используете dbt v1. Это не настроено «из коробки», но если вы хотите глубже проанализировать свой проект, можно использовать пакет dbt Artifacts.
- 👩🎨 Он предоставляет модели, которые можно визуализировать для каждого аспекта вашего проекта на очень детальном уровне.
- ⌚ Вы можете использовать его, чтобы создать собственные визуализации времени выполнения моделей в вашем BI‑инструменте, а также любые другие отчёты, необходимые для контроля вашей стратегии materialization.
Нашли ошибку?
0




