Перейти к основному содержимому

Создание пользовательских универсальных тестов данных

dbt поставляется с универсальными тестами данных Not Null, Unique, Relationships и Accepted Values. (Ранее они назывались "тестами схемы", и вы все еще можете встретить это название в некоторых местах.) Внутри эти универсальные тесты данных определяются как блоки test (как макросы).

к сведению

Существует множество универсальных тестов данных, определенных в open source пакетах, таких как dbt-utils и dbt-expectations — возможно, тест, который вы ищете, уже здесь!

Универсальные тесты со стандартными аргументами​

Универсальные тесты определяются в SQL-файлах. Эти файлы могут находиться в двух местах:

  • tests/generic/: то есть в специальной подпапке с именем generic в ваших путях тестов (tests/ по умолчанию)
  • macros/: Почему? Универсальные тесты работают очень похоже на макросы, и исторически это было единственное место, где их можно было определить. Если ваш универсальный тест зависит от сложной логики макросов, вам может быть удобнее определить макросы и универсальный тест в одном файле.

Чтобы определить свои собственные универсальные тесты, просто создайте блок test с именем <test_name>. Все универсальные тесты должны принимать один или оба стандартных аргумента:

  • model: Ресурс, на котором определен тест, шаблонизированный до его имени отношения. (Обратите внимание, что аргумент всегда называется model, даже если ресурс является источником, seed или snapshot.)
  • column_name: Столбец, на котором определен тест. Не все универсальные тесты работают на уровне столбца, но если они это делают, они должны принимать column_name в качестве аргумента.

Вот пример теста схемы is_even, который использует оба аргумента:

tests/generic/test_is_even.sql
{% test is_even(model, column_name) %}

with validation as (

    select
        {{ column_name }} as even_field

    from {{ model }}

),

validation_errors as (

    select
        even_field

    from validation
    -- если это условие истинно, то even_field на самом деле нечетное!
    where (even_field % 2) = 1

)

select *
from validation_errors

{% endtest %}

Если этот select запрос возвращает ноль записей, то каждая запись в переданном аргументе model четная! Если вместо этого возвращается ненулевое количество записей, то по крайней мере одна запись в model нечетная, и тест не прошел.

Чтобы использовать этот универсальный тест, укажите его по имени в свойстве tests модели, источника, snapshot или seed:

models/<filename>.yml
version: 2

models:
  - name: users
    columns:
      - name: favorite_number
        tests:
      	  - is_even

С одной строкой кода вы только что создали тест! В этом примере users будет передан в тест is_even как аргумент model, а favorite_number будет передан как аргумент column_name. Вы можете добавить ту же строку для других столбцов, других моделей — каждая добавит новый тест в ваш проект, используя то же самое определение универсального теста.

Универсальные тесты с дополнительными аргументами​

Тест is_even работает без необходимости указывать какие-либо дополнительные аргументы. Другие тесты, такие как relationships, требуют больше, чем просто model и column_name. Если ваш пользовательский тест требует больше, чем стандартные аргументы, включите эти аргументы в сигнатуру теста, как field и to включены ниже:

tests/generic/test_relationships.sql
{% test relationships(model, column_name, field, to) %}

with parent as (

    select
        {{ field }} as id

    from {{ to }}

),

child as (

    select
        {{ column_name }} as id

    from {{ model }}

)

select *
from child
where id is not null
  and id not in (select id from parent)

{% endtest %}

При вызове этого теста из .yml файла, передайте аргументы тесту в виде словаря. Обратите внимание, что стандартные аргументы (model и column_name) предоставляются контекстом, поэтому вам не нужно определять их снова.

models/<filename>.yml
version: 2

models:
  - name: people
    columns:
      - name: account_id
        tests:
          - relationships:
              to: ref('accounts')
              field: id

Универсальные тесты с значениями конфигурации по умолчанию​

Возможно включить блок config() в определение универсального теста. Значения, установленные там, будут установлены по умолчанию для всех конкретных экземпляров этого универсального теста, если они не будут переопределены в свойствах конкретного экземпляра .yml.

tests/generic/warn_if_odd.sql
{% test warn_if_odd(model, column_name) %}

    {{ config(severity = 'warn') }}

    select *
    from {{ model }}
    where ({{ column_name }} % 2) = 1

{% endtest %}

Любой раз, когда используется тест warn_if_odd, он всегда будет иметь уровень серьезности "предупреждение", если только конкретный тест не переопределит это значение:

models/<filename>.yml
version: 2

models:
  - name: users
    columns:
      - name: favorite_number
        tests:
      	  - warn_if_odd         # по умолчанию 'warn'
      - name: other_number
        tests:
          - warn_if_odd:
              severity: error   # переопределение

Настройка встроенных тестов dbt​

Чтобы изменить способ работы встроенного универсального теста — будь то добавление дополнительных параметров, переписывание SQL или по любой другой причине — просто добавьте блок теста с именем <test_name> в ваш собственный проект. dbt отдаст предпочтение вашей версии перед глобальной реализацией!

tests/generic/<filename>.sql
{% test unique(model, column_name) %}

    -- любой SQL, который вы хотите!

{% endtest %}

Примеры​

Вот несколько дополнительных примеров пользовательских универсальных ("схемных") тестов от сообщества:

0
Отредактировать эту страницу