Перейти к основному содержимому

severity, error_if и warn_if

Тесты возвращают количество нарушений — чаще всего это количество строк, возвращённых тестовым запросом, но оно также может определяться с помощью пользовательского вычисления. Как правило, если количество нарушений не равно нулю, тест возвращает ошибку. Это логично, поскольку тестовые запросы предназначены для возврата всех строк, которые вам не нужны: дублирующихся записей, значений null и других нежелательных данных.

Можно настроить тесты так, чтобы они возвращали предупреждения вместо ошибок, или сделать статус теста условным в зависимости от количества неудач. Возможно, 1 дублирующая запись может считаться предупреждением, но 10 дублирующих записей должны считаться ошибкой.

Соответствующие настройки:

  • severity: error или warn (по умолчанию: error)
  • error_if: условное выражение (по умолчанию: !=0)
  • warn_if: условное выражение (по умолчанию: !=0)

Условные выражения могут быть любой логикой сравнения, поддерживаемой вашим SQL-синтаксисом с целым числом неудач: > 5, = 0, between 5 and 10 и так далее.

Вот как это работает на практике:

  • Если severity: error, dbt сначала проверит условие error_if. Если условие ошибки выполнено, тест возвращает ошибку. Если оно не выполнено, dbt затем проверит условие warn_if (по умолчанию !=0). Если оно не указано или условие предупреждения выполнено, тест выдает предупреждение; если не выполнено, тест проходит.
  • Если severity: warn, dbt полностью пропустит условие error_if и сразу перейдет к условию warn_if. Если условие предупреждения выполнено, тест выдает предупреждение; если не выполнено, тест проходит.

По умолчанию тест с severity: warn будет возвращать только предупреждение и не приведёт к ошибке. Однако вы можете повысить уровень предупреждений до ошибок, используя:

  • --warn-error: Повышает все предупреждения dbt (включая предупреждения тестов, предупреждения Jinja, сообщения об устаревании и т. д.) до уровня ошибок.
  • --warn-error-options: Повышает до уровня ошибок только определённые типы предупреждений.

Дополнительную информацию см. в разделе Предупреждения.

Настройте конкретный экземпляр встроенного обобщённого теста:

models/<filename>.yml

models:
- name: large_table
columns:
- name: slightly_unreliable_column
data_tests:
- unique:
config:
severity: error
error_if: ">1000"
warn_if: ">10"

Проверка ожидаемого сбоя​

Вы можете использовать error_if для проверки ожидаемого сбоя. Это полезно в интеграционных тестах пакетов, например при проверке того, что универсальный тест выявляет заведомо некорректные тестовые данные.

В следующем примере тест проходит только в том случае, если возвращает одну или несколько строк, не прошедших проверку. Если тест возвращает 0 строк, dbt выдаёт ошибку, поскольку 0 удовлетворяет условию error_if: '<1'.

models/always_bad.yml
models:
- name: always_bad
data_tests:
- dbt_utils.expression_is_true:
arguments:
expression: "amount > 0"
config:
error_if: "<1"
warn_if: "<0"

В этом примере тест проходит только в том случае, если возвращает одну или несколько строк, не прошедших проверку. Если тест возвращает 0 строк, dbt выдаёт ошибку, поскольку 0 удовлетворяет условию error_if: '<1'.

Установите warn_if: '<0', чтобы исключить выдачу предупреждений при использовании этого подхода. Если не переопределить warn_if, условие выдачи предупреждения по умолчанию (!=0) всё ещё может сработать.

Нашли ошибку?

0
Loading