Перейти к основному содержимому

Добавление экспозиций в ваш DAG

Экспозиции позволяют определить и описать использование вашего dbt проекта на последующих этапах, например, в дашборде, приложении или в конвейере обработки данных. Определив экспозиции, вы можете:

  • запускать, тестировать и перечислять ресурсы, которые питают вашу экспозицию
  • заполнять специальную страницу на автоматически сгенерированном сайте документации с контекстом, актуальным для потребителей данных

Экспозиции можно определять двумя способами:

  • Вручную — Явно объявлять в YAML-файлах вашего проекта.
  • Автоматически — dbt автоматически создаёт и визуализирует экспозиции нижестоящих систем для поддерживаемых интеграций, избавляя от необходимости вручную определять их в YAML. Эти экспозиции нижестоящих систем хранятся в системе метаданных dbt, отображаются в Catalog и ведут себя так же, как экспозиции, определённые вручную. Однако в YAML-файлах их нет.

Объявление exposure​

Экспозиции определяются в файлах .yml, вложенных под ключом exposures:.

Следующий пример показывает определение exposure в файле models/<filename>.yml:

models/<filename>.yml

exposures:

- name: weekly_jaffle_metrics
label: Jaffles by the Week
type: dashboard
maturity: high
url: https://bi.tool/dashboards/1
description: >
Кто-то сказал "экспоненциальный рост"?

depends_on:
- ref('fct_orders')
- ref('dim_customers')
- source('gsheets', 'goals')
- metric('count_orders')

owner:
name: Callum McData
email: data@jaffleshop.com

Доступные свойства​

Обязательные:

  • name: уникальное имя экспозиции, написанное в snake case
  • type: одно из dashboard, notebook, analysis, ml, application (используется для организации на сайте документации)
  • owner: требуется name или email; допускаются дополнительные свойства

Ожидаемые:

  • depends_on: список узлов, на которые можно ссылаться, включая metric, ref и source. Хотя это возможно, крайне маловероятно, что вам когда-либо понадобится, чтобы exposure зависела непосредственно от source.
подсказка

Не путайте это YAML-свойство depends_on с -- depends_on — директивой в виде SQL-комментария, заданной в начале SQL-файла модели, которая явно добавляет зависимости в DAG и гарантирует, что указанные ресурсы будут созданы до выполнения модели.

Необязательные свойства:

  • label: Может содержать пробелы, заглавные буквы или специальные символы.
  • url: Активирует ссылку Просмотреть эту экспозицию в правом верхнем углу сгенерированного сайта документации и задаёт её адрес
  • maturity: Указывает уровень доверия к экспозиции или её стабильности. Допустимые значения: high, medium или low. Например, уровень зрелости high можно использовать для устоявшегося дашборда, который широко используется в вашей организации и пользуется доверием. Используйте уровень зрелости low для нового или экспериментального анализа.

Общие свойства (необязательные)

Ссылки на экспозиции​

После определения экспозиции вы можете выполнять команды, ссылаясь на нее:

dbt run -s +exposure:weekly_jaffle_report
dbt test -s +exposure:weekly_jaffle_report

Когда мы сгенерируем сайт Catalog, вы увидите на нём экспозицию:

Для экспозиций предусмотрен отдельный раздел под названием проекта в dbt Catalog, в котором перечислены все экспозиции вашего проекта.Для экспозиций предусмотрен отдельный раздел под названием проекта в dbt Catalog, в котором перечислены все экспозиции вашего проекта.
Экспозиции отображаются как узлы в DAG dbt Catalog. Внутри каждого такого узла отображается оранжевый индикатор 'EXP'. Экспозиции отображаются как узлы в DAG dbt Catalog. Внутри каждого такого узла отображается оранжевый индикатор 'EXP'.

Связанная документация​

Нашли ошибку?

0
Loading