О блоках statement
Для запросов, результаты которых нужно получить (например, когда вашему макросу или коду Jinja нужны данные, возвращаемые из базы данных), можно использовать блоки statement с fetch_result=True или макрос run_query.
Для операций DDL или служебных операций (таких как OPTIMIZE, VACUUM или запросы для обслуживания) используйте блоки statement с fetch_result=False, если вам не нужен доступ к результатам в Jinja. Это позволяет избежать проблем со строгой проверкой типов в dbt v2, которая может завершиться ошибкой при обработке наборов результатов, содержащих значения NULL в столбцах, объявленных как не допускающие NULL.
Блоки statement — это SQL-запросы, которые обращаются к базе данных и возвращают результаты в ваш контекст Jinja. Вот пример блока statement, который получает все штаты из таблицы пользователей (таблица).
-- depends_on: {{ ref('users') }}
{%- call statement('states', fetch_result=True) -%}
select distinct state from {{ ref('users') }}
{%- endcall -%}
Сигнатура блока statement выглядит следующим образом:
statement(name=None, fetch_result=False, auto_begin=True)
При выполнении statement dbt должен понимать, как разрешать ссылки на другие модели или ресурсы dbt. Если вы уже используете ref для модели вне блока statement, зависимость будет автоматически определена, но в противном случае вам нужно будет принудительно указать зависимость с помощью -- depends_on.
Аргументы:
name(строка): Имя для набора результатов, возвращаемого этим statementfetch_result(bool): Если True, загрузить результаты statement в Jinja-контекстauto_begin(bool): Если True, открыть транзакцию, если она не существует. Если False, не открывать транзакцию.
После выполнения блока statement набор результатов доступен через функцию load_result. Объект результата включает три ключа:
response: Структурированный объект, содержащий метаданные, возвращаемые из базы данных, которые зависят от адаптера. Например, код успехаcode, количество затронутых строкrows_affected, общий объем обработанных байтbytes_processedи т.д. Сравнимо сadapter_responseв объекте результата.data: Питоническое представление данных, возвращаемых запросом (массивы, кортежи, словари).table: Представление данных в виде таблицы Agate, возвращаемых запросом.
Для приведенного выше statement это может выглядеть так:
{%- set states = load_result('states') -%}
{%- set states_data = states['data'] -%}
{%- set states_status = states['response'] -%}
Содержимое возвращаемого поля data — это матрица. Она содержит список строк, каждая из которых является списком значений, возвращаемых базой данных. Для приведенного выше примера эта структура данных может выглядеть так:
>>> log(states_data)
[
['PA'],
['NY'],
['CA'],
...
]
Операции без получения результатов
Для операций DDL или служебных операций, результаты которых вам не нужны (поскольку вы не используете возвращаемые строки в Jinja), задайте fetch_result=False. Этот подход рекомендуется для таких операций, как OPTIMIZE или VACUUM в Databricks, которые возвращают наборы результатов, способные содержать значения null в столбцах, не допускающих null.
{% macro optimize_table(table, zorder_fields=[]) %}
{% set zorder_str = zorder_fields | join(', ') %}
{% set query %}
OPTIMIZE {{ table }}
{% if zorder_str | length > 0 %}
ZORDER BY ({{ zorder_str }})
{% endif %}
{% endset %}
{% call statement('optimize', fetch_result=False) %}
{{ query }}
{% endcall %}
{% endmacro %}
Этот макрос можно использовать в post-hook:
models:
my_project:
+post-hook:
- "{{ optimize_table(this, ['customer_id', 'order_date']) }}"