Об артефактах dbt
При каждом вызове dbt создает и сохраняет один или несколько артефактов. Некоторые из них — файлы JSON (semantic_manifest.json, osi_document.json, manifest.json, catalog.json, run_results.json и sources.json), которые используются для следующих возможностей:
Они также могут быть использованы для:
- получать инсайты о вашем Semantic Layer
- рассчитывать покрытие тестами на уровне проекта
- выполнять продольный анализ времени выполнения запусков
- выявлять исторические изменения в структуре таблица
- и делать многое, многое другое
Когда создаются артефакты? StarterEnterprise
Большинство команд dbt (и соответствующих методов RPC) создают артефакты:
- семантический манифест: создаётся при каждом разборе вашего проекта dbt
- документ Apache Ossie: создаётся при каждом разборе вашего проекта dbt
- манифест: создаётся командами, которые читают и анализируют ваш проект
- результаты выполнения: создаются командами, которые выполняют, компилируют или каталогизируют узлы вашего DAG
- каталог: создаётся командой
docs generate
- источники: создаётся командой
dbt freshness, если включены источники; сохраняется для обратной совместимости - актуальность данных: создаётся командой
dbt freshness; охватывает как источники, так и модели с настроенной проверкой актуальности данных; полеresource_typeв каждой записи позволяет различать их
При выполнении команд из dbt CLI все артефакты скачиваются по умолчанию. Если вы хотите изменить это поведение, см. раздел Как отключить скачивание артефактов.
Где создаются артефакты?
По умолчанию артефакты записываются в директорию /target вашего dbt проекта. Вы можете настроить расположение с помощью флага target-path.
Общие метаданные
Все артефакты, создаваемые dbt, включают словарь metadata с такими свойствами:
dbt_version: Версия dbt, которая создала этот артефакт. Для получения подробной информации о версионировании релизов обратитесь к Версионирование.dbt_schema_version: URL схемы этого артефакта. См. примечания ниже.generated_at: Временная метка в UTC, когда этот артефакт был создан.adapter_type: Адаптер (база данных), например,postgres,sparkи т.д.env: Любые переменные окружения с префиксомDBT_ENV_CUSTOM_ENV_будут включены в словарь, где имя переменной без префикса будет ключом.invocation_id: Уникальный идентификатор для этого вызова dbt
В манифесте metadata также может содержать:
send_anonymous_usage_stats: Отправлялась ли анонимная статистика использования во время выполнения этого вызова.project_name: Значениеname, определённое в файлеdbt_project.ymlкорневого проекта. (Добавлено в манифесте v10 / dbt v1.6)project_id: Идентификатор проекта, полученный хешированиемproject_name; отправляется вместе с анонимной статистикой использования, если её отправка включена.user_id: Идентификатор пользователя, по умолчанию хранящийся в~/dbt/.user.yml; отправляется вместе с анонимной статистикой использования, если её отправка включена.
Примечания:
- Структура dbt артефактов канонизирована с помощью JSON схем, которые размещены на schemas.getdbt.com.
- Версии артефактов могут изменяться в любой минорной версии dbt (
v1.x.0). Каждый артефакт версионируется независимо.
Связанные документы
- Другие артефакты файлы, такие как
index.htmlилиgraph_summary.json.