severity, error_if и warn_if
Тесты возвращают количество нарушений — чаще всего это количество строк, возвращённых тестовым запросом, но оно также может определяться с помощью пользовательского вычисления. Как правило, если количество нарушений не равно нулю, тест возвращает ошибку. Это логично, поскольку тестовые запросы предназначены для возврата всех строк, которые вам не нужны: дублирующихся записей, значений null и других нежелательных данных.
Можно настроить тесты так, чтобы они возвращали предупреждения вместо ошибок, или сделать статус теста условным в зависимости от количества неудач. Возможно, 1 дублирующая запись может считаться предупреждением, но 10 дублирующих записей должны считаться ошибкой.
Соответствующие настройки:
severity:errorилиwarn(по умолчанию:error)error_if: условное выражение (по умолчанию:!=0)warn_if: условное выражение (по умолчанию:!=0)
Условные выражения могут быть любой логикой сравнения, поддерживаемой вашим SQL-синтаксисом с целым числом неудач: > 5, = 0, between 5 and 10 и так далее.
Вот как это работает на практике:
- Если
severity: error, dbt сначала проверит условиеerror_if. Если условие ошибки выполнено, тест возвращает ошибку. Если оно не выполнено, dbt затем проверит условиеwarn_if(по умолчанию!=0). Если оно не указано или условие предупреждения выполнено, тест выдает предупреждение; если не выполнено, тест проходит. - Если
severity: warn, dbt полностью пропустит условиеerror_ifи сразу перейдет к условиюwarn_if. Если условие предупреждения выполнено, тест выдает предупреждение; если не выполнено, тест проходит.
По умолчанию тест с severity: warn будет возвращать только предупреждение и не приведёт к ошибке. Однако вы можете повысить уровень предупреждений до ошибок, используя:
--warn-error: Повышает все предупреждения dbt (включая предупреждения тестов, предупреждения Jinja, сообщения об устаревании и т. д.) до уровня ошибок.--warn-error-options: Повышает до уровня ошибок только определённые типы предупреждений.
Дополнительную информацию см. в разделе Предупреждения.
- Готовые универсальные тесты
- Единичные тесты
- Пользовательские универсальные тесты
- Уровень проекта
Настройте конкретный экземпляр встроенного обобщённого теста:
models:
- name: large_table
columns:
- name: slightly_unreliable_column
data_tests:
- unique:
config:
severity: error
error_if: ">1000"
warn_if: ">10"
Настройка единичного теста:
{{ config(error_if = '>50') }}
select ...
Установка значения по умолчанию для всех экземпляров пользовательского универсального теста, путем настройки внутри блока теста (определение):
{% test <testname>(model, column_name) %}
{{ config(severity = 'warn') }}
select ...
{% endtest %}
Установка значения по умолчанию для всех тестов в пакете или проекте:
data_tests:
+severity: warn # все тесты
<package_name>:
+warn_if: >10 # тесты в <package_name>
Проверка ожидаемого сбоя
Вы можете использовать error_if для проверки ожидаемого сбоя. Это полезно в интеграционных тестах пакетов, например при проверке того, что универсальный тест выявляет заведомо некорректные тестовые данные.
В следующем примере тест проходит только в том случае, если возвращает одну или несколько строк, не прошедших проверку. Если тест возвращает 0 строк, dbt выдаёт ошибку, поскольку 0 удовлетворяет условию error_if: '<1'.
models:
- name: always_bad
data_tests:
- dbt_utils.expression_is_true:
arguments:
expression: "amount > 0"
config:
error_if: "<1"
warn_if: "<0"
В этом примере тест проходит только в том случае, если возвращает одну или несколько строк, не прошедших проверку. Если тест возвращает 0 строк, dbt выдаёт ошибку, поскольку 0 удовлетворяет условию error_if: '<1'.
Установите warn_if: '<0', чтобы исключить выдачу предупреждений при использовании этого подхода. Если не переопределить warn_if, условие выдачи предупреждения по умолчанию (!=0) всё ещё может сработать.