Перейти к основному содержимому

constraints

Ограничения — это функция многих платформ данных. Когда они указаны, платформа выполняет дополнительную проверку данных при их добавлении в новую таблицу или вставке в уже существующую таблицу. Если проверка не проходит, создание или обновление таблицы не удается, операция откатывается, и вы увидите четкое сообщение об ошибке.

Когда ограничения применяются, они гарантируют, что вы никогда не увидите недопустимые данные в таблице, материализованной вашей моделью. Применение варьируется в зависимости от платформы данных.

Предварительные требования​

Перед использованием ограничений убедитесь, что выполнены следующие требования:

  • Вы используете поддерживаемые материализации — Ограничения работают только для моделей с материализацией table и incremental. Ограничения никогда не применяются к моделям с материализацией ephemeral или view.
  • Вы обеспечиваете соблюдение контракта — Для использования ограничений ваша модель должна объявлять контракт и обеспечивать его соблюдение. Это означает, что необходимо явно определить data_type для каждого столбца в конфигурации схемы модели.

Поддержка ограничений на платформах​

Выберите вкладку нужного адаптера, чтобы узнать больше о поддержке ограничений на разных платформах. Ограничения делятся на три категории в зависимости от возможности их определения и обеспечения их соблюдения платформой:

  • Можно определить, соблюдение обеспечивается — Модель не будет построена, если она нарушает ограничение.
  • Можно определить, соблюдение не обеспечивается — Платформа позволяет указать тип ограничения, но модель всё равно может быть построена, даже если её построение нарушает это ограничение. Такое ограничение существует только в качестве метаданных. Этот подход более характерен для облачных хранилищ данных, чем для транзакционных баз данных, где чаще обеспечивается строгое соблюдение правил.
  • Нельзя определить, соблюдение не обеспечивается — Указать этот тип ограничения для платформы невозможно.
Тип ограниченияМожно определитьСоблюдение обеспечивается
not_null✅✅
primary_key✅❌
foreign_key✅❌
unique✅❌
check❌❌

Определение ограничений​

Ограничения могут быть определены для одного столбца или на уровне модели для одного или нескольких столбцов. Как общее правило, мы рекомендуем определять ограничения для одного столбца непосредственно на этих столбцах.

Если вы определяете несколько ограничений primary_key для одной модели, они должны быть определены на уровне модели. Определение нескольких ограничений primary_key на уровне столбца не поддерживается.

Структура ограничения:

  • type (обязательно): одно из not_null, unique, primary_key, foreign_key, check, custom
  • expression: Свободный текст для уточнения ограничения. Обязательно для некоторых типов ограничений и необязательно для других.
  • name (необязательно): Удобочитаемое имя для этого ограничения. Поддерживается некоторыми платформами данных.
  • columns (только на уровне модели): Список имен столбцов, к которым применяется ограничение.
(Версии dbt: v1.9 и новее)

Ограничения внешнего ключа принимают два дополнительных параметра:

Этот синтаксис определения внешних ключей использует ref, а значит, учитывает зависимости и работает в разных окружениях. Он доступен в dbt v1 Latest и dbt v1.9+.

Этот синтаксис определения внешних ключей использует ref, что означает автоматический учет зависимостей и корректную работу в разных окружениях. Он доступен в "Latest" и dbt v1 v1.9+.

Поскольку поддержка и применение ограничений различаются в зависимости от платформы, dbt предоставляет два необязательных поля, которые можно указать для любого ограничения:

  • warn_unenforced: Установите в False, чтобы отключить предупреждения для ограничений, которые поддерживаются вашей платформой, но фактически не применяются (например, primary_key в Snowflake).
  • warn_unsupported: Установите в False, чтобы отключить предупреждения для ограничений, которые вообще не поддерживаются вашей платформой (например, check в Redshift).
models/schema.yml
models:
- name: <model_name>

# обязательно
config:
materialized: table
contract: {enforced: true}

# ограничения на уровне модели
constraints:
- type: primary_key
columns: [first_column, second_column, ...]
warn_unsupported: True # show a warning if unsupported
- type: foreign_key # multi_column
columns: [first_column, second_column, ...]
to: ref('my_model_to') | source('source', 'source_table')
to_columns: [other_model_first_column, other_model_second_columns, ...]
- type: check
columns: [first_column, second_column, ...]
expression: "first_column != second_column"
name: human_friendly_name
- type: ...

columns:
- name: first_column
data_type: string

# ограничения на уровне столбца
constraints:
- type: not_null
- type: unique
- type: foreign_key
to: ref('my_model_to') | source('source', 'source_table')
to_columns: [other_model_column]
warn_unenforced: False # skips warning if supported but not enforced
- type: ...

Адаптеры, поддерживающие эти поля, используют их вместо expression при построении ограничения внешнего ключа, если поля заполнены.

Для получения дополнительной информации об адаптерах, которые поддерживают ограничения внешних ключей, ознакомьтесь с нашим руководством по поддержке ограничений платформами.

Поддержка, специфичная для платформы​

В транзакционных базах данных возможно определение "ограничений" на допустимые значения определенных столбцов, более строгих, чем просто тип данных этих значений. Например, Postgres поддерживает и применяет все ограничения стандарта ANSI SQL (not null, unique, primary key, foreign key), а также гибкое ограничение на уровне строки check, которое оценивается в логическое выражение.

Большинство аналитических платформ данных поддерживают и обеспечивают соблюдение ограничения not null, но остальные ограничения они либо не поддерживают, либо не обеспечивают их соблюдение. Иногда всё же имеет смысл добавить «информационное» ограничение, зная, что его соблюдение не обеспечивается, для интеграции с устаревшими каталогами данных или инструментами построения диаграмм «сущность — связь» (dbt-labs/dbt#3295). Некоторые платформы данных могут использовать ограничения первичного или внешнего ключа для оптимизации запросов, если указать дополнительное ключевое слово.

Для этого вы можете указать два дополнительных поля для любого фильтра:

  • warn_unenforced: False, чтобы пропустить предупреждение об ограничениях, которые поддерживаются, но не применяются этой платформой данных. Ограничение будет включено в шаблонный DDL.
  • warn_unsupported: False, чтобы пропустить предупреждение об ограничениях, которые не поддерживаются этой платформой данных, и поэтому не будут включены в шаблонный DDL.
  • Документация по ограничениям PostgreSQL: здесь
models/constraints_example.sql
{{
config(
materialized = "table"
)
}}

select
1 as id,
'My Favorite Customer' as customer_name,
cast('2019-01-01' as date) as first_transaction_date
models/schema.yml
models:
- name: constraints_example
config:
contract:
enforced: true
columns:
- name: id
data_type: int
constraints:
- type: not_null
- type: primary_key
- type: check
expression: "id > 0"
- name: customer_name
data_type: text
- name: first_transaction_date
data_type: date

Ожидаемый DDL для применения ограничений:

target/run/.../constraints_example.sql
create table "database_name"."schema_name"."constraints_example__dbt_tmp"
(
id integer not null primary key check (id > 0),
customer_name text,
first_transaction_date date
)
;
insert into "database_name"."schema_name"."constraints_example__dbt_tmp"
(
id,
customer_name,
first_transaction_date
)
(
select
1 as id,
'My Favorite Customer' as customer_name,
cast('2019-01-01' as date) as first_transaction_date
);

Пользовательские ограничения​

В dbt можно использовать пользовательские ограничения для моделей, чтобы более гибко настраивать таблицы. Разные хранилища данных поддерживают разный синтаксис и разные возможности.

Пользовательские ограничения позволяют добавлять конфигурацию к конкретным столбцам. Например:

  • Установить политику маскирования в Snowflake при использовании Create Table As Select (CTAS).

  • Другие хранилища данных (такие как Databricks и BigQuery имеют свои собственные наборы параметров, которые могут быть установлены для столбцов в их операторах CTAS.

Вы можете реализовать ограничения несколькими способами:

 Пользовательские ограничения с тегами

Вот пример того, как реализовать политики маскирования на основе тегов с контрактами и ограничениями, используя следующий синтаксис:

models/constraints_example.yml

models:
- name: constraints_example
config:
contract:
enforced: true
materialized: table
columns:
- name: id
data_type: int
constraints:
- type: custom
expression: "tag (my_tag = 'my_value')" # Пользовательское SQL-выражение, используемое для применения конкретного ограничения к столбцу.

Использование этого синтаксиса требует настройки всех столбцов и их типов, так как это единственный способ отправить create or replace <cols_info_with_masking> mytable as .... Невозможно сделать это с помощью только частичного списка столбцов. Это означает, что необходимо убедиться, что поля столбцов и ограничений полностью определены.

Чтобы сгенерировать YAML со всеми столбцами, вы можете использовать generate_model_yaml из dbt-codegen.

 Пользовательские ограничения без тегов

В качестве альтернативы, вы можете добавить политику маскирования без тегов:

models/constraints_example.yml

models:
- name: constraints_example
config:
contract:
enforced: true
materialized: table
columns:
- name: id
data_type: int
constraints:
- type: custom
expression: "masking policy my_policy"

Нашли ошибку?

0
Loading