volatility
functions:
- name: <function name>
config:
volatility: deterministic | stable | non-deterministic
Определение
Для UDF на SQL, Python или JavaScript можно дополнительно использовать параметр volatility, чтобы указать, насколько предсказуем результат функции, с помощью значений deterministic, stable или non-deterministic. Хранилища данных используют эту информацию, чтобы определить, можно ли кэшировать результаты, изменять порядок вычислений или встраивать вызовы функции. Правильная настройка volatility помогает избежать некорректных результатов, когда кэширование результатов функции или изменение порядка её вычислений небезопасно.
Например:
- Функция, которая возвращает случайное число (
random()), должна быть настроена какnon-deterministic, поскольку её результат меняется при каждом вызове. - Функция, которая возвращает текущую дату (
current_date()), являетсяstable: её значение остаётся неизменным в рамках одного выполнения запроса, но может изменяться между запросами. Если бы она была настроена какdeterministic, хранилище данных могло бы ошибочно закэшировать значение и повторно использовать его в последующие дни.
По умолчанию dbt не указывает значение volatility. Если вы не задаёте volatility, dbt генерирует оператор CREATE без ключевого слова volatility, и применяется поведение хранилища данных по умолчанию — за исключением Redshift.
В Redshift dbt по умолчанию устанавливает non-deterministic (VOLATILE), если volatility не указана, потому что Redshift требует явного указания volatility, а VOLATILE является самым безопасным предположением.
Поддерживаемые типы volatility
В dbt для конфигурации volatility можно использовать следующие значения:
| Значение | Описание | Пример |
|---|---|---|
deterministic | Всегда возвращает один и тот же результат для одинаковых входных данных. Безопасно для агрессивных оптимизаций и кэширования. | substr() — Возвращает одну и ту же подстроку при одинаковой строке и параметрах. |
stable | Возвращает одно и то же значение в рамках одного выполнения запроса, но может изменяться между выполнениями. Поддерживается не всеми хранилищами. Подробнее см. Warehouse-specific volatility keywords. | now() — Возвращает текущее время на момент начала запроса; остаётся постоянным в рамках одного запроса, но отличается между запусками. |
non-deterministic | Может возвращать разные результаты для одинаковых входных данных. Хранилища не должны кэшировать или переупорядочивать вычисления, предполагая стабильный результат. | first() — Может возвращать разные строки в зависимости от плана запроса или порядка данных. random() — Генерирует случайное число, которое меняется при каждом вызове, даже при одинаковых входных данных. |
Пример
В этом примере используется volatility deterministic для функции is_positive_int:
functions:
- name: is_positive_int
description: Check whether a string is a positive integer
config:
volatility: deterministic # Optional: stable | non-deterministic | deterministic
arguments:
- name: a_string
data_type: string
returns:
data_type: boolean