# Видимость запусков

Платформа dbt

Вы можете просматривать историю запусков и панель мониторинга времени выполнения моделей, чтобы определить, какие аспекты заданий можно улучшить.

## История запусков

Панель **Run history** в dbt помогает отслеживать состояние вашего проекта dbt. Она предоставляет подробный обзор всех запусков заданий проекта и различные фильтры, позволяющие сосредоточиться на отдельных аспектах. Вы также можете использовать её для просмотра недавних запусков, поиска запусков с ошибками и отслеживания хода выполняющихся запусков. Чтобы открыть панель, в верхнем меню навигации нажмите **Deploy**, а затем **Run history**.

Разработчики dbt могут просматривать историю запусков за последние 365 дней через пользовательский интерфейс (UI) и API dbt.

dbt Labs ограничивает самостоятельное получение метаданных истории запусков периодом в 365 дней, чтобы повысить производительность dbt.

[![Панель истории запусков позволяет отслеживать состояние проекта dbt и отображает задания, их статусы, окружение, время выполнения и другие сведения.](/img/docs/dbt-platform/deployment/run-history.png?v=2 "Панель истории запусков позволяет отслеживать состояние проекта dbt и отображает задания, их статусы, окружение, время выполнения и другие сведения.")](#)Панель истории запусков позволяет отслеживать состояние проекта dbt и отображает задания, их статусы, окружение, время выполнения и другие сведения.

## Сведения о запуске задания

На дашборде **Run history** выберите конкретный запуск, чтобы просмотреть полную информацию о нём. Страница с деталями запуска задания показывает триггер задания, commit SHA, время ожидания в очереди планировщика, все шаги выполнения и их [логи](#access-logs), [время выполнения моделей](#model-timing-tab) и другую информацию.

Нажмите **Rerun now**, чтобы немедленно перезапустить задание.

Пример завершённого запуска с конфигурацией для [триггера по завершению задания](https://docs.getdbt.tech/docs/deploy/deploy-jobs.md#trigger-on-job-completion):

[![Пример сведений о запуске](/img/docs/dbt-platform/deployment/example-job-details.png?v=2 "Пример сведений о запуске")](#)Пример сведений о запуске

### Вкладка Run summary

Вы можете просматривать и скачивать текущие и исторические логи запусков dbt. Это помогает эффективнее выявлять и устранять ошибки.

Для выполняющихся шагов dbt platform отображает только конец вывода логов — не более последних 1 000 строк или 0,5 МБ, в зависимости от того, какой предел достигнут раньше. Это относится как к консольным, так и к отладочным логам.

* Если логи обрезаны, в их верхней части появляется уведомление. Поскольку отображается только конец вывода, ресурс, который ещё выполняется, может не появляться в логах, пока его выполнение не завершится и его вывод не попадёт в отображаемую часть.
* После завершения шага доступен полный лог.

(Версии dbt: v2.0 и новее)

Когда задание на dbt v2 завершается, при выборе шага открывается представление структурированных логов со статусом каждого ресурса. Узлы распределяются по следующим категориям; каждый узел можно развернуть, чтобы просмотреть подробные логи:

* **Success** (успешно)
* **Reused** (повторно использован)
* **Failed** (ошибка)
* **Warning** (предупреждение)
* **Running** (выполняется)
* **Skipped** (пропущен)
* **No-op** (без действий)

Подробнее о каждом статусе см. в разделе [Телеметрия и наблюдаемость в dbt v2](https://docs.getdbt.tech/reference/telemetry-observability.md#node-outcome).

[![Структурированные логи в v2](/img/docs/dbt-platform/deployment/v2-logs.png?v=2 "Структурированные логи в v2")](#)Структурированные логи в v2

#### Скачивание логов

* Чтобы скачать логи отдельного шага, выберите его на вкладке **Run summary** и нажмите **Download** > **Download logs**.

* Обратите внимание: при просмотре отладочных логов вывод обрезается. Чтобы просмотреть и экспортировать все отладочные логи отдельного шага, нажмите **Download** > **Download all debug logs**.

* Вы можете скачать логи OpenTelemetry (OTel) для шагов команд задания на dbt v2 в виде файла Parquet. Файл содержит структурированные данные логов на уровне шага, к которым можно выполнять запросы или которые можно анализировать вне dbt.

Чтобы скачать файл, перейдите на вкладку **Run summary** в задании, выберите шаг и нажмите **Download** > **Download OTel log** для экспорта файла Parquet

Этот пункт появляется только в том случае, если шаг создал артефакт лога OTel. Некоторые шаги, например `dbt deps`, не создают такой артефакт. Примеры анализа см. в разделе [Запросы к данным телеметрии](https://docs.getdbt.tech/reference/telemetry-observability.md#querying-telemetry-data).

[![Скачивание логов](/img/docs/dbt-platform/deployment/download-logs.png?v=2 "Скачивание логов")](#)Скачивание логов

#### Ограничения размера логов

dbt ограничивает совокупный размер логов для конечных точек запусков. Если размер логов отдельного шага или общий размер логов запуска превышает этот предел, dbt не отображает логи.

Когда dbt не отображает логи из-за их размера, появляется баннер **Run logs are too large**, а на месте логов выводится соответствующее сообщение. Для шага запуска также отображается статус **Unknown**.

Вы по-прежнему можете скачать скрытые логи. Если файл лога слишком большой, скачивание может завершиться ошибкой. В этом случае вы можете [обратиться в службу поддержки](mailto:support@getdbt.com).

### Вкладка Lineage

Просмотрите граф происхождения данных, связанный с запуском задания, чтобы лучше понять зависимости и взаимосвязи ресурсов в вашем проекте. Чтобы просмотреть метаданные узла непосредственно в [Catalog](https://docs.getdbt.tech/docs/explore/explore-projects.md), выберите его двойным щелчком на графе.

[![Переход в dbt Catalog из вкладки Lineage](/img/docs/collaborate/dbt-explorer/explorer-from-lineage.gif?v=2 "Переход в dbt Catalog из вкладки Lineage")](#)Переход в dbt Catalog из вкладки Lineage

[]()

### Вкладка Model timing [Starter](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise +](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")

Вкладка **Model timing** показывает состав моделей, порядок их выполнения и время, затрачиваемое на каждую модель при запуске задания. Это помогает выявить узкие места в запусках, чтобы изучить их и при необходимости внести изменения для повышения производительности. Вкладка доступна на [странице сведений о запуске задания](#job-run-details).

Вкладка включает следующие разделы:

* [Карточки метрик](#metric-tiles)
* [Временная шкала выполнения](#execution-timeline)
* [Параллельное выполнение во времени](#concurrency-over-time)
* [Сведения о ресурсах](#resource-details)

#### Карточки метрик

В верхней части вкладки отображаются шесть карточек метрик:

* **Est. critical path**: Оценочная длительность самой длинной цепочки зависимых моделей и её доля в общем времени запуска в процентах.
* **Peak concurrency**: Максимальное количество одновременно выполнявшихся моделей и момент запуска, когда оно было достигнуто.
* **Avg active models**: Среднее количество активных моделей за время запуска.
* **Longest model**: Длительность выполнения и имя самой медленной модели в запуске.
* **Wall clock**: Общее время, прошедшее от начала до завершения запуска.
* **Latest start**: Имя и время начала выполнения модели, которая начала выполняться последней в запуске.

[![Карточки метрик с ключевой статистикой запуска: оценочным критическим путём, пиковым параллелизмом, самой медленной моделью и другими показателями.](/img/docs/dbt-platform/deployment/model-timing-metric-tiles.png?v=2 "Карточки метрик с ключевой статистикой запуска: оценочным критическим путём, пиковым параллелизмом, самой медленной моделью и другими показателями.")](#)Карточки метрик с ключевой статистикой запуска: оценочным критическим путём, пиковым параллелизмом, самой медленной моделью и другими показателями.

#### Временная шкала выполнения

Временная шкала в виде диаграммы Ганта для всех ресурсов запуска. Наведите указатель на полосы, чтобы увидеть подробности. Представление можно настроить с помощью следующих элементов:

* **Group by**: Определяет, как ресурсы группируются на временной шкале:

  * **Resource type**: Группирует по типу узла: Model, Test, Snapshot или Exposure.
  * **Folder**: Группирует по пути к папке ресурса в вашем проекте.
  * **Execution phase**: Группирует ресурсы по фазам от 0 до 4 в зависимости от времени начала выполнения — фаза 0 началась раньше всех, а фаза 4 — позже всех.
  * **Thread**: Группирует по потоку выполнения dbt, в котором выполнялся каждый ресурс. dbt использует несколько потоков для параллельного выполнения моделей; это представление показывает, какой поток обрабатывал какие ресурсы.
  * **No grouping**: Показывает все ресурсы без группировки.

* **Highlight**: Изменяет окраску полос, помогая сосредоточиться на нужных данных:

  * **Est. critical path**: Выделяет ресурсы на оценочном критическом пути, отображая все остальные серым цветом.
  * **All equal**: Показывает все полосы в цвете соответствующего типа ресурса без дополнительного выделения. Легенда показывает цвет каждого типа: Model, Test, Snapshot и Exposure.
  * **By duration**: Отображает ресурсы с меньшим временем выполнения серым цветом, а с большим — цветными.

* **Search resources**: Фильтрует временную шкалу, оставляя ресурсы, соответствующие поисковому запросу.

[![Временная шкала выполнения в виде диаграммы Ганта для всех ресурсов запуска](/img/docs/dbt-platform/deployment/model-timing-timeline.png?v=2 "Временная шкала выполнения в виде диаграммы Ганта для всех ресурсов запуска")](#)Временная шкала выполнения в виде диаграммы Ганта для всех ресурсов запуска

#### Параллельное выполнение во времени

Столбчатая диаграмма с накоплением, показывающая активность моделей на протяжении запуска. Каждый столбец разделён на **Active models** и **Queued / ready**, что позволяет увидеть, сколько моделей выполнялось и сколько ожидало в любой момент времени. Диаграмма также показывает пиковое количество одновременно выполнявшихся моделей за время запуска.

[![Диаграмма параллельного выполнения во времени, показывающая активные модели и модели в очереди или готовые к выполнению на протяжении запуска](/img/docs/dbt-platform/deployment/model-timing-concurrency.png?v=2 "Диаграмма параллельного выполнения во времени, показывающая активные модели и модели в очереди или готовые к выполнению на протяжении запуска")](#)Диаграмма параллельного выполнения во времени, показывающая активные модели и модели в очереди или готовые к выполнению на протяжении запуска

#### Сведения о ресурсах

Таблица всех ресурсов запуска с поиском и постраничной навигацией. Она содержит следующие столбцы:

* **Model**: Имя ресурса.
* **Start**: Время начала выполнения ресурса.
* **End**: Время завершения выполнения ресурса.
* **Duration**: Продолжительность выполнения ресурса.
* **Execution phase**: Число от 0 до 4, указывающее, когда началось выполнение ресурса относительно остальных ресурсов запуска — фаза 0 началась раньше всех, а фаза 4 — позже всех.
* **Est. critical path**: Указывает, находится ли ресурс на оценочном критическом пути.
* **Type**: Тип ресурса (Model, Test, Snapshot или Exposure), отображаемый в виде значка с цветовой маркировкой.
* **Folder**: Путь к папке ресурса.

[![Таблица сведений о ресурсах, показывающая для каждой модели время начала и завершения выполнения, длительность, фазу выполнения, принадлежность к критическому пути, тип и папку](/img/docs/dbt-platform/deployment/model-timing-resource-details.png?v=2 "Таблица сведений о ресурсах, показывающая для каждой модели время начала и завершения выполнения, длительность, фазу выполнения, принадлежность к критическому пути, тип и папку")](#)Таблица сведений о ресурсах, показывающая для каждой модели время начала и завершения выполнения, длительность, фазу выполнения, принадлежность к критическому пути, тип и папку

### Вкладка Artifacts

Здесь представлен список артефактов, сгенерированных в ходе выполнения задания. Файлы сохраняются и доступны для загрузки.

[![Пример вкладки Artifacts](/img/docs/dbt-platform/example-artifacts-tab.png?v=2 "Пример вкладки Artifacts")](#)Пример вкладки Artifacts

### Вкладка Explain

Вкладка **Explain** отображается для запусков заданий, в которых использовался [dbt State](https://docs.getdbt.tech/docs/deploy/dbt-state-about.md). Она показывает, почему dbt State пересобрал, повторно использовал или клонировал каждый ресурс, позволяя исследовать неожиданное поведение или убедиться, что State работает как ожидается. Вкладка доступна во время выполнения запуска и обновляется по мере завершения обработки ресурсов.

На вкладке отображается таблица **Explain results**, в которой каждому ресурсу соответствует одна строка. Вы можете искать ресурсы по имени и скачивать полные результаты в виде текстового файла.

Разверните строку, чтобы просмотреть все подробности принятого решения. Не все виды анализа применимы к каждому типу ресурсов:

| Поле                        | Описание                                                                                                                                                                                   |
| --------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| **Resource name**           | Имя ресурса.                                                                                                                                                                               |
| **Resource type**           | Тип ресурса: model, seed, snapshot, test и так далее.                                                                                                                                      |
| **Decision**                | Причина, по которой dbt State пересобрал, повторно использовал или клонировал этот ресурс.                                                                                                 |
| **Run step**                | Команда задания, при выполнении которой был обработан этот ресурс (например, `dbt build --exclude tag:ml_pipeline`).                                                                       |
| **Table analysis**          | Существует ли целевая таблица в схеме.                                                                                                                                                     |
| **Query analysis**          | Изменился ли запрос ресурса или запросы ресурсов, от которых он зависит.                                                                                                                   |
| **Data freshness analysis** | Являются ли данные вышестоящих ресурсов актуальными или укладываются ли они в настроенный допуск [`lag_tolerance`](https://docs.getdbt.tech/reference/resource-configs/lag-tolerance.md). |

[![Вкладка Explain с подробным разбором решений](/img/docs/dbt-platform/deployment/explain-tab.png?v=2 "Вкладка Explain с подробным разбором решений")](#)Вкладка Explain с подробным разбором решений

### Вкладка Compare [Enterprise](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise +](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")

Вкладка **Compare** отображается для [запусков заданий CI](https://docs.getdbt.tech/docs/deploy/ci-jobs.md), для которых включена настройка **Run compare changes**. На ней представлены подробные сведения об [изменениях, выявленных при сравнении, выполненном dbt](https://docs.getdbt.tech/docs/deploy/advanced-ci.md#compare-changes), между состоянием вашей производственной среды и pull request. Чтобы вам было проще увидеть различия, dbt выделяет изменения в моделях красным (удаления) и зелёным (вставки).

В разделе **Modified** доступны следующие сведения:

* **Overview** — Высокоуровневое резюме изменений в моделях, например количество добавленных или удалённых первичных ключей.
* **Primary keys** — Подробности об изменениях в записях.
* **Modified rows** — Подробности об изменённых строках. Нажмите **Show full preview**, чтобы отобразить все колонки.
* **Columns** — Подробности об изменениях в колонках.

Чтобы подробнее изучить зависимости и связи между ресурсами вашего проекта, нажмите **Посмотреть в Catalog**, чтобы открыть [Catalog](https://docs.getdbt.tech/docs/explore/explore-projects.md).

[![Пример вкладки «Сравнение»](/img/docs/dbt-platform/example-ci-compare-changes-tab.png?v=2 "Пример вкладки «Сравнение»")](#)Пример вкладки «Сравнение»

[![Пример вкладки «Изменённые строки», на которой отображается подробная информация об изменённых строках.](/img/docs/dbt-platform/advanced-ci-modified-rows.png?v=2 "Пример вкладки «Изменённые строки», на которой отображается подробная информация об изменённых строках.")](#)Пример вкладки «Изменённые строки», на которой отображается подробная информация об изменённых строках.
