Перейти к основному содержимому

meta

dbt_project.yml
models:
<resource-path>:
+meta: {<dictionary>}

models/schema.yml

models:
- name: model_name
config:
meta: {<словарь>}

columns:
- name: column_name
config:
meta: {<dictionary>} # изменено на config в версии v1.10 и затем портировано обратно в 1.9

Конфигурацию meta можно определить следующими способами:

  • В разделе models конфигурации в файле проекта (как показано в предыдущем примере models/schema.yml)
  • В разделе models конфигурации в файле проекта (dbt_project.yml)
  • В Jinja‑макросе config() внутри SQL‑файла модели

Смотрите конфигурации и свойства для получения подробной информации.

Определение​

Конфигурация meta задаёт метаданные ресурса и принимает любые пары «ключ — значение». Эти метаданные включаются в файл manifest.json, создаваемый dbt, и отображаются в автоматически сгенерированной документации.

В зависимости от ресурса, который вы настраиваете, meta может быть доступно в свойстве config и/или в качестве ключа верхнего уровня. (Для обратной совместимости meta часто (но не всегда) поддерживается в качестве ключа верхнего уровня, хотя без возможностей наследования конфигурации.)

Влияние на сравнение состояния

Изменения meta, в том числе на уровне столбца, не приводят к выбору ресурса через state:modified. Для dbt параметры meta и tags — метаданные: они не влияют на материализацию. Подробнее см. Особенности сравнения состояния.

Примеры​

Чтобы показать, как использовать конфигурацию meta, приведём несколько примеров:

Назначить владельца модели​

Дополнительно можно указать уровень зрелости модели, используя ключ model_maturity:.

models/schema.yml

models:
- name: users
config:
meta:
owner: "@alice"
model_maturity: in dev

Назначение столбца источника как содержащего PII​

models/schema.yml

Похоже, вы прислали только фрагмент `sources:` без содержимого.

Пожалуйста, пришлите полный текст markdown‑файла (или хотя бы раздел целиком), который нужно перевести. Тогда я смогу корректно перевести описания и пояснения, сохранить форматирование Docusaurus и не затронуть технические элементы dbt.
- name: salesforce
tables:
- name: account
config:
meta:
contains_pii: true
columns:
- name: email
config:
meta: # changed to config in v1.10 and backported to 1.9
contains_pii: true

Настройка одного атрибута meta для всех сидов​

dbt_project.yml
seeds:
+meta:
favorite_color: red

Переопределение одного атрибута meta для одной модели​

models/my_model.sql
{{ config(meta = {
'single_key': 'override'
}) }}

select 1 as id

Назначение владельца и favorite_color в dbt_project.yml как свойства конфигурации​

dbt_project.yml
models:
jaffle_shop:
+meta:
owner: "@alice"
favorite_color: red

Назначение meta для семантической модели​

(Версии dbt: v1.12 и новее)

Ниже показано, как задать meta для семантической модели в YAML-файле модели и в dbt_project.yml:

models:
- name: fact_transactions
description: "Transaction fact table at the transaction level. This table contains one row per transaction and includes the transaction timestamp."
semantic_model:
enabled: true
name: transaction
config:
meta:
data_owner: "Finance team"
used_in_reporting: true

agg_time_dimension: transaction_date

Назначение meta для измерений, метрик и сущностей​

(Версии dbt: v1.12 и новее)

В следующем примере показано, как задать значение meta для измерения, сущности и простых метрик в семантической модели:

model_name.yml
models:
- name: model_name
semantic_model:
enabled: true
name: semantic_model

agg_time_dimension: order_date

columns:
- name: order_date
dimension:
type: time
config:
meta:
data_owner: "Finance team"
used_in_reporting: true

- name: customer_id
entity:
type: primary
config:
meta:
description: "Unique identifier for customers"
data_owner: "Sales team"
used_in_reporting: false

metrics:
- name: count_of_users
type: simple
agg: count_distinct
expr: user_id
config:
meta:
used_in_reporting: true

Добавление meta в обобщённые и единичные тесты данных​

В следующих примерах показано, как добавить meta в обобщённые тесты данных в файле properties.yml и в единичные тесты данных с помощью config(). Также можно задать значения по умолчанию в dbt_project.yml или tests/properties.yml.

models/properties.yml
models:
- name: orders
columns:
- name: order_id
data_tests:
- not_null:
config:
meta:
owner: "@data_team"

Доступ к значениям meta в моделях Python​

Для доступа к пользовательским значениям meta в моделях Python используйте метод dbt.config.meta_get().

Например, если у вас есть модель с именем my_python_model и вы хотите сохранить в ней пользовательские значения, можно сделать следующее:

models/schema.yml
models:
- name: my_python_model
config:
meta:
batch_size: 1000
processing_mode: "incremental"
models/my_python_model.py
def model(dbt, session):
# Access custom values stored in meta directly
batch_size = dbt.config.meta_get("batch_size")
processing_mode = dbt.config.meta_get("processing_mode")

# Use the meta values in your model logic
df = dbt.ref("upstream_model")

if processing_mode == "incremental":
df = df.limit(batch_size)

return df

Нашли ошибку?

0
Loading