Analyses
Обзор
Концепция models в dbt упрощает для команд работы с данными контроль версий и совместную работу над преобразованиями данных. Однако иногда определенное SQL-выражение не совсем вписывается в структуру модели dbt. Эти более "аналитические" SQL-файлы могут быть версионированы внутри вашего проекта dbt с использованием функциональности analysis.
Любые .sql файлы, найденные в директории analyses/ проекта dbt, будут скомпилированы, но не выполнены. Это означает, что аналитики могут использовать функциональность dbt, такую как {{ ref(...) }}, для выбора моделей в независимой от окружения манере.
На практике файл анализа может выглядеть следующим образом (на примере моделей Quickbooks с открытым исходным кодом):
-- analyses/running_total_by_account.sql
with journal_entries as (
select *
from {{ ref('quickbooks_adjusted_journal_entries') }}
), accounts as (
select *
from {{ ref('quickbooks_accounts_transformed') }}
)
select
txn_date,
account_id,
adjusted_amount,
description,
account_name,
sum(adjusted_amount) over (partition by account_id order by id rows unbounded preceding)
from journal_entries
order by account_id, id
Вы можете настроить отдельные анализы в их файле свойств. Например:
analyses:
- name: running_total_by_account
description: Вычисляет нарастающий итог скорректированных сумм по каждому счёту с течением времени.
config:
enabled: true
docs:
show: true
node_color: purple
tags: ['finance', 'accounting']
columns:
- name: account_id
description: Уникальный идентификатор счёта.
- name: adjusted_amount
description: Скорректированная сумма транзакции по счёту.
Дополнительную информацию см. в разделе Свойства анализов.
(Версии dbt: v1.12 и новее)Настройка на уровне проекта
Вы также можете настроить анализы на уровне проекта в dbt_project.yml.
Чтобы настроить анализы на уровне проекта, установите флаг require_corrected_analysis_fqns в значение true и добавьте блок analyses в файл dbt_project.yml. Конфигурация на уровне проекта применяется к существующим анализам в папке analyses/ — например, настройка +enabled: false отключает их все.
flags:
require_corrected_analysis_fqns: true
analyses:
+enabled: true | false
Компиляция анализов
Чтобы скомпилировать этот анализ в исполняемый SQL, выполните:
dbt compile
Затем найдите скомпилированный SQL‑файл в target/compiled/{project name}/analyses/running_total_by_account.sql. Этот SQL, например, можно вставить в инструмент визуализации данных. Обратите внимание, что в базе данных не будет материализовано никакое отношение running_total_by_account, поскольку это analysis, а не model.