Перейти к основному содержимому

volatility

💡Полезно знать
Доступно начиная с dbt v1.11 или в канале релизов v1 Latest.
functions/<filename>.yml
functions:
- name: <function name>
config:
volatility: deterministic | stable | non-deterministic

Определение​

Для UDF на SQL, Python или JavaScript можно дополнительно использовать параметр volatility, чтобы указать, насколько предсказуем результат функции, с помощью значений deterministic, stable или non-deterministic. Хранилища данных используют эту информацию, чтобы определить, можно ли кэшировать результаты, изменять порядок вычислений или встраивать вызовы функции. Правильная настройка volatility помогает избежать некорректных результатов, когда кэширование результатов функции или изменение порядка её вычислений небезопасно.

Например:

  • Функция, которая возвращает случайное число (random()), должна быть настроена как non-deterministic, поскольку её результат меняется при каждом вызове.
  • Функция, которая возвращает текущую дату (current_date()), является stable: её значение остаётся неизменным в рамках одного выполнения запроса, но может изменяться между запросами. Если бы она была настроена как deterministic, хранилище данных могло бы ошибочно закэшировать значение и повторно использовать его в последующие дни.

По умолчанию dbt не указывает значение volatility. Если вы не задаёте volatility, dbt генерирует оператор CREATE без ключевого слова volatility, и применяется поведение хранилища данных по умолчанию — за исключением Redshift.

В Redshift dbt по умолчанию устанавливает non-deterministic (VOLATILE), если volatility не указана, потому что Redshift требует явного указания volatility, а VOLATILE является самым безопасным предположением.

 Ключевые слова для указания волатильности, зависящие от хранилища данных

Разные хранилища данных поддерживают управление волатильностью с помощью разных ключевых слов и значений по умолчанию:

Warehousedeterministicstablenon-deterministic
SnowflakeIMMUTABLEНе поддерживаетсяVOLATILE (по умолчанию)
RedshiftIMMUTABLESTABLEVOLATILE (по умолчанию)
DatabricksDETERMINISTICНе поддерживаетсяСчитается non-deterministic, если не указано иное
PostgresIMMUTABLESTABLEVOLATILE (по умолчанию)
Starburst/TrinoDETERMINISTIC (по умолчанию)Не поддерживаетсяNOT DETERMINISTIC

Для UDF на SQL и Python BigQuery не поддерживает явное указание категории изменчивости (volatility) и определяет её на основе используемых функций и выражений. Для UDF на JavaScript BigQuery поддерживает только deterministic и non-deterministic; stable не поддерживается.

Поддерживаемые типы volatility​

В dbt для конфигурации volatility можно использовать следующие значения:

ЗначениеОписаниеПример
deterministicВсегда возвращает один и тот же результат для одинаковых входных данных. Безопасно для агрессивных оптимизаций и кэширования.substr() — Возвращает одну и ту же подстроку при одинаковой строке и параметрах.
stableВозвращает одно и то же значение в рамках одного выполнения запроса, но может изменяться между выполнениями. Поддерживается не всеми хранилищами. Подробнее см. Warehouse-specific volatility keywords.now() — Возвращает текущее время на момент начала запроса; остаётся постоянным в рамках одного запроса, но отличается между запусками.
non-deterministicМожет возвращать разные результаты для одинаковых входных данных. Хранилища не должны кэшировать или переупорядочивать вычисления, предполагая стабильный результат.first() — Может возвращать разные строки в зависимости от плана запроса или порядка данных.
random() — Генерирует случайное число, которое меняется при каждом вызове, даже при одинаковых входных данных.

Пример​

В этом примере используется volatility deterministic для функции is_positive_int:

functions/schema.yml
functions:
- name: is_positive_int
description: Check whether a string is a positive integer
config:
volatility: deterministic # Optional: stable | non-deterministic | deterministic
arguments:
- name: a_string
data_type: string
returns:
data_type: boolean

Нашли ошибку?

0
Loading