meta
- Модели
- Источники
- Сиды
- Снимки
- Тесты
- Модульные тесты
- Анализы
- Макросы
- Экспозиции
- Семантические модели
- Метрики
- Сохранённые запросы
- Функции
models:
<resource-path>:
+meta: {<dictionary>}
models:
- name: model_name
config:
meta: {<словарь>}
columns:
- name: column_name
config:
meta: {<dictionary>} # изменено на config в версии v1.10 и затем портировано обратно в 1.9
Конфигурацию meta можно определить следующими способами:
- В разделе
modelsконфигурации в файле проекта (как показано в предыдущем примереmodels/schema.yml) - В разделе
modelsконфигурации в файле проекта (dbt_project.yml) - В Jinja‑макросе
config()внутри SQL‑файла модели
Смотрите конфигурации и свойства для получения подробной информации.
sources:
<resource-path>:
+meta: {<dictionary>}
источники:
- name: model_name
config:
meta: {<словарь>}
tables:
- name: table_name
config:
meta: {<словарь>}
columns:
- name: column_name
config:
meta: {<dictionary>} # переименовано в config в версии v1.10 и портировано обратно в 1.9
seeds:
<resource-path>:
+meta: {<dictionary>}
seeds:
- name: seed_name
config:
meta: {<словарь>}
columns:
- name: column_name
config:
meta: {<dictionary>} # изменено на config в версии v1.10 и бэкпортировано в 1.9
Конфигурацию meta можно определить:
- В разделе
seedsв файле свойств (как показано в предыдущем примере 'seeds/schema.yml') - В разделе
seedsв файле проекта (dbt_project.yml). Подробнее см. в разделе Конфигурации и свойства.
snapshots:
<resource-path>:
+meta: {<dictionary>}
snapshots:
- name: snapshot_name
config:
meta: {<словарь>}
columns:
- name: column_name
config:
meta: {<dictionary>} # изменено на config в версии v1.10 и портировано обратно в 1.9
Конфигурация meta может быть определена:
- в разделе
snapshotsфайла свойств (как показано в предыдущем примереsnapshots/schema.yml) - в разделе
snapshotsфайла проекта (dbt_project.yml) - внутри Jinja‑макроса
config()в SQL‑блоке snapshot’а
Смотрите конфигурации и свойства для получения подробной информации.
Используйте поле meta, чтобы добавить метаданные к универсальным или единичным тестам. Поле meta принимает пары «ключ — значение», включается в manifest.json при компиляции и отображается в автоматически создаваемой документации.
Универсальные тесты данных
Добавьте meta в блок config в файле properties.yml:
models:
- name: my_model
columns:
- name: my_column
data_tests:
- unique:
config:
meta:
owner: "docs team"
Или задайте значения по умолчанию в dbt_project.yml:
data_tests:
my_project:
+meta:
owner: "docs team"
Единичные тесты данных
Добавьте meta в SQL-файл теста с помощью config():
{{ config(meta={'owner': 'docs team'}) }}
select * from {{ ref('my_model') }}
where my_column is null
Или укажите метаданные в tests/properties.yml:
data_tests:
- name: my_singular_test
config:
meta:
owner: "analytics_team"
unit_tests:
<resource-path>:
+meta: {<dictionary>}
unit_tests:
- name: <test-name>
config:
meta: {<dictionary>}
Конфигурация meta в настоящее время не поддерживается для анализов.
macros:
<resource-path>:
+meta: {<dictionary>}
macros:
- name: macro_name
config:
meta: {<dictionary>} # перенесено в config в v1.11
arguments:
- name: argument_name
exposures:
<resource-path>:
+meta: {<dictionary>}
exposures:
- name: exposure_name
config:
meta: {<dictionary>} # изменено на config в версии v1.10
Задайте meta для семантических моделей в YAML-файле модели или в блоке конфигурации semantic-models в dbt_project.yml.
semantic-models:
<resource-path>:
+meta: {<dictionary>}
models:
- name: model_name
semantic_model:
enabled: true
config:
meta: {<dictionary>}
У измерений, сущностей и метрик могут быть собственные настройки meta.
models:
- name: model_name
semantic_model:
enabled: true
config:
meta: {<dictionary>}
agg_time_dimension: your_time_dimension_name
columns:
- name: entity_column_name
entity:
type: primary
name: entity_name
config:
meta: {<dictionary>}
- name: dimension_column_name
dimension:
type: categorical
name: dimension_name
config:
meta: {<dictionary>}
metrics:
- name: simple_metric_name
description: "Description of the metric"
type: simple
agg: sum
expr: column_name
config:
meta: {<dictionary>}
Конфигурацию meta можно определить:
- В разделе
semantic-modelsфайла свойств (как показано в предыдущем примереmodels/semantic_models.yml) - В разделе
semantic-modelsфайла проекта (dbt_project.yml). Подробнее см. в разделе Конфигурации и свойства.
metrics:
<resource-path>:
+meta: {<dictionary>}
models:
- name: model_name
semantic_model:
enabled: true
agg_time_dimension: your_time_dimension
columns:
- name: column_name
dimension:
type: time
granularity: day
metrics:
- name: number_of_people
type: simple
description: Total count of people
agg: count
expr: people
config:
meta:
my_meta_config: 'config_value'
saved-queries:
<resource-path>:
+meta: {<dictionary>}
saved_queries:
- name: saved_query_name
config:
meta: {<словарь>}
functions:
<resource-path>:
+meta: {<dictionary>}
functions:
- name: function_name
config:
meta: {<dictionary>}
Определение
Конфигурация meta задаёт метаданные ресурса и принимает любые пары «ключ — значение». Эти метаданные включаются в файл manifest.json, создаваемый dbt, и отображаются в автоматически сгенерированной документации.
В зависимости от ресурса, который вы настраиваете, meta может быть доступно в свойстве config и/или в качестве ключа верхнего уровня. (Для обратной совместимости meta часто (но не всегда) поддерживается в качестве ключа верхнего уровня, хотя без возможностей наследования конфигурации.)
Изменения meta, в том числе на уровне столбца, не приводят к выбору ресурса через state:modified. Для dbt параметры meta и tags — метаданные: они не влияют на материализацию. Подробнее см. Особенности сравнения состояния.
Примеры
Чтобы показать, как использовать конфигурацию meta, приведём несколько примеров:
- Назначить владельца модели
- Указать, что столбец источника содержит персональные данные (PII)
- Настроить один атрибут meta для всех seed-файлов
- Переопределить один атрибут meta для отдельной модели
- Задать owner и favorite_color в dbt_project.yml как свойство конфигурации
- Задать meta для семантической модели
- Задать meta для измерений, мер и сущностей
- Добавить meta к универсальным и единичным тестам данных
- Получить доступ к значениям meta в моделях Python
Назначить владельца модели
Дополнительно можно указать уровень зрелости модели, используя ключ model_maturity:.
models:
- name: users
config:
meta:
owner: "@alice"
model_maturity: in dev
Назначение столбца источника как содержащего PII
Похоже, вы прислали только фрагмент `sources:` без содержимого.
Пожалуйста, пришлите полный текст markdown‑файла (или хотя бы раздел целиком), который нужно перевести. Тогда я смогу корректно перевести описания и пояснения, сохранить форматирование Docusaurus и не затронуть технические элементы dbt.
- name: salesforce
tables:
- name: account
config:
meta:
contains_pii: true
columns:
- name: email
config:
meta: # changed to config in v1.10 and backported to 1.9
contains_pii: true
Настройка одного атрибута meta для всех сидов
seeds:
+meta:
favorite_color: red
Переопределение одного атрибута meta для одной модели
{{ config(meta = {
'single_key': 'override'
}) }}
select 1 as id
Назначение владельца и favorite_color в dbt_project.yml как свойства конфигурации
models:
jaffle_shop:
+meta:
owner: "@alice"
favorite_color: red
Назначение meta для семантической модели
(Версии dbt: v1.12 и новее)Ниже показано, как задать meta для семантической модели в YAML-файле модели и в dbt_project.yml:
- Semantic model
- dbt_project.yml
models:
- name: fact_transactions
description: "Transaction fact table at the transaction level. This table contains one row per transaction and includes the transaction timestamp."
semantic_model:
enabled: true
name: transaction
config:
meta:
data_owner: "Finance team"
used_in_reporting: true
agg_time_dimension: transaction_date
semantic-models:
jaffle_shop:
+meta:
used_in_reporting: true
Назначение meta для измерений, метрик и сущностей
(Версии dbt: v1.12 и новее)- Семантическая модель
- dbt_project.yml
В следующем примере показано, как задать значение meta для измерения, сущности и простых метрик в семантической модели:
models:
- name: model_name
semantic_model:
enabled: true
name: semantic_model
agg_time_dimension: order_date
columns:
- name: order_date
dimension:
type: time
config:
meta:
data_owner: "Finance team"
used_in_reporting: true
- name: customer_id
entity:
type: primary
config:
meta:
description: "Unique identifier for customers"
data_owner: "Sales team"
used_in_reporting: false
metrics:
- name: count_of_users
type: simple
agg: count_distinct
expr: user_id
config:
meta:
used_in_reporting: true
Во втором примере показано, как задать data_owner и дополнительные метаданные для измерения в файле dbt_project.yml с помощью синтаксиса +meta. Аналогичный синтаксис можно использовать для сущностей и простых метрик.
semantic-models:
jaffle_shop:
...
dimensions:
- name: order_date
config:
meta:
data_owner: "Finance team"
used_in_reporting: true
Добавление meta в обобщённые и единичные тесты данных
В следующих примерах показано, как добавить meta в обобщённые тесты данных в файле properties.yml и в единичные тесты данных с помощью config(). Также можно задать значения по умолчанию в dbt_project.yml или tests/properties.yml.
- Обобщённый тест данных
- Единичный тест данных
models:
- name: orders
columns:
- name: order_id
data_tests:
- not_null:
config:
meta:
owner: "@data_team"
{{ config(meta={'owner': '@data_team'}) }}
select *
from {{ ref('orders') }}
where order_id is null
Доступ к значениям meta в моделях Python
Для доступа к пользовательским значениям meta в моделях Python используйте метод dbt.config.meta_get().
Например, если у вас есть модель с именем my_python_model и вы хотите сохранить в ней пользовательские значения, можно сделать следующее:
models:
- name: my_python_model
config:
meta:
batch_size: 1000
processing_mode: "incremental"
def model(dbt, session):
# Access custom values stored in meta directly
batch_size = dbt.config.meta_get("batch_size")
processing_mode = dbt.config.meta_get("processing_mode")
# Use the meta values in your model logic
df = dbt.ref("upstream_model")
if processing_mode == "incremental":
df = df.limit(batch_size)
return df