Навигация по state-aware интерфейсу

Узнайте, как ориентироваться в интерфейсе state-aware оркестрации, чтобы получить лучшую видимость процессов сборки моделей и отслеживания затрат.

Диаграмма собранных и повторно использованных моделей

Когда вы переходите на Account home, вы увидите диаграмму, показывающую количество собранных и повторно использованных моделей. Она дает наглядное представление о том, как state-aware оркестрация оптимизирует сборки данных. Эта диаграмма помогает:

• Отслеживать эффективность state-aware оркестрации — Понять, как state-aware оркестрация сокращает ненужные пересборки моделей, выполняя сборку только при наличии изменений в данных или коде. Диаграмма обеспечивает прозрачность того, как оптимизация работает в рамках вашей реализации dbt.
• Анализировать паттерны сборок — Получить представление о частоте сборок проекта и выявить возможности для дальнейшей оптимизации.

Также вы можете посмотреть количество повторно использованных моделей по каждому проекту на странице Accounts home.

Диаграмма собранных и повторно использованных моделей на Account home

Просмотр количества повторно использованных моделей по проектам на странице Accounts home

Просмотр потребления моделей в jobs

State-aware jobs предоставляют диаграммы, которые показывают информацию о запусках job, а также сколько моделей было собрано и повторно использовано за последнюю неделю, за последние 14 дней или за последние 30 дней. В разделе Overview вашего job доступны следующие диаграммы:

Во вкладке Runs:

• Последние запуски
• Общая длительность выполнения

Диаграммы Recent runs и Total run duration time

Во вкладке Models:

• Созданные модели
• Повторно использованные модели

Диаграммы Models built и Models reused

Просмотр логов собранных моделей

Во время выполнения job структурированный просмотр логов показывает, какие модели были собраны, пропущены или повторно использованы.

Просмотр логов собранных моделей

1. У каждой модели есть иконка, указывающая её статус.
2. Вкладка Reused показывает общее количество повторно использованных моделей.
3. Вы можете использовать строку поиска или фильтровать логи, чтобы показать сообщения All, Success, Warning, Failed, Running, Skipped, Reused или Debugged.
4. Для лучшего понимания того, почему модели были собраны, повторно использованы или пропущены, предоставляются подробные сообщения логов. Эти сообщения подсвечиваются в логах.

Тег Reused в линзе Latest status

Lineage lenses — это интерактивные визуальные фильтры в dbt Catalog, которые показывают дополнительный контекст в lineage-графе и помогают понять, как ресурсы определены или как они работают. При применении линзы на узлах lineage-графа становятся видны теги, указывающие значение слоя, а также цветовая индикация на основе этого значения. При сильном отдалении масштаба в графе видны только теги и их цвета.

Линза Latest status показывает статус ресурса на основе его последнего выполнения в текущем окружении. При использовании этой линзы в lineage-графе модели, которые были повторно использованы state-aware оркестрацией, помечаются тегом Reused.

Линза Latest status с отображением повторно использованных моделей

Чтобы посмотреть lineage с линзой Latest status:

1. В главном меню перейдите в Orchestration > Runs.
2. Выберите нужный run.
3. Перейдите на вкладку Lineage.
   Отобразится lineage вашего проекта.
4. В поле Lenses выберите Latest status.

Кнопка Clear cache

State-aware оркестрация использует кэшированный хеш как кода, так и состояния данных для каждой модели в окружении. Этот хеш хранится в Redis. При запуске job dbt проверяет, есть ли изменения в хеше модели между сохранённым состоянием в Redis и текущим состоянием, которое будет построено в рамках job. Если изменения есть, dbt собирает модель. Если изменений нет, dbt повторно использует модель с момента её последней сборки.

• Чтобы полностью очистить это состояние и начать заново, очистите кэш, перейдя в Orchestration > Environments. Выберите нужное окружение и нажмите кнопку Clear cache.
• Кнопка Clear cache доступна только в том случае, если у вас включена state-aware оркестрация.
• После очистки кэша следующий run пересоберёт все модели с нуля. Последующие запуски будут использовать заново сгенерированный кэш.

Кнопка Clear cache

Нашли ошибку?

Создать GitHub Issue