Перейти к основному содержимому

Артефакты

При выполнении заданий dbt генерирует и сохраняет артефакты. Эти артефакты, например manifest.json, catalog.json и sources.json, используются для работы различных компонентов dbt platform, а именно: Catalog, dbt Docs и отчётов об актуальности источников.

Создание артефактов dbt​

Catalog использует метаданные, предоставляемые Discovery API, для отображения подробной информации о состоянии вашего проекта. Для этого используются метаданные из ваших сред развертывания — промежуточной (staging) и производственной (production).

Catalog автоматически получает обновленные метаданные после каждого запуска задания в производственной или промежуточной среде развертывания, поэтому всегда содержит последние результаты для вашего проекта — то есть автоматически обновляется после каждого запуска задания.

Чтобы посмотреть ресурс, его метаданные и понять, какие команды для этого требуются, обратитесь к разделу generate metadata для получения дополнительной информации.

 Для dbt Docs

Следующие шаги предназначены только для прежней версии dbt Docs. Об актуальном интерфейсе документации см. dbt Catalog.

Хотя выполнение любого задания может производить артефакты, вы должны ассоциировать только одно производственное задание с данным проектом для создания артефактов проекта. Вы можете указать это соединение на странице Детали проекта. Чтобы получить доступ к этой странице:

  1. В dbt platform нажмите на имя своей учетной записи в меню слева и выберите Account settings.
  2. Выберите свой проект и нажмите Edit в правом нижнем углу.
  3. В разделе Artifacts выберите задания (jobs), для которых вы хотите создавать артефакты документации и свежести источников.
Настройка артефактовНастройка артефактов

Если нужного задания нет в списке, возможно, вам нужно отредактировать его и выбрать Run source freshness

Когда вы добавляете в проект задание для среды production, dbt обновляет содержимое и предоставляет ссылки на документацию среды production и артефакты проверки актуальности источников, созданные для этого проекта. Чтобы увидеть эти ссылки, нажмите Deploy в левом верхнем углу, выберите Jobs, а затем — задание для среды production. На странице задания можно выбрать конкретный запуск, чтобы посмотреть, как артефакты были обновлены именно в этом запуске.

Документация​

Перейдите в Catalog по ссылке Explore, чтобы просмотреть ресурсы проекта и связи между ними и лучше понять его последнее состояние в производственной среде.

Чтобы посмотреть конкретный ресурс, его метаданные и какие команды для этого требуются, см. раздел generate metadata для получения дополнительной информации.

 Для dbt Docs

После настройки dbt обновляет ссылку Documentation на вкладке в верхней части страницы, чтобы она вела на документацию для этого задания. Эта ссылка всегда ведёт на последнюю версию документации вашего проекта.

Свежесть источников​

Чтобы просмотреть последний результат проверки свежести источников, ознакомьтесь с подробной информацией в разделе Создание метаданных. Затем перейдите в Catalog по ссылке Explore.

 Для dbt Docs

Настройка задания с параметром артефакта Source Freshness также обновляет ссылку на источник данных в разделе Orchestration > Data sources. Эта ссылка ведёт к последнему отчёту Source Freshness для выбранного задания.

Нашли ошибку?

0
Loading