Перейти к основному содержимому

Мартс: Определяемые бизнесом сущности

к сведению

Наши рекомендации здесь расходятся в зависимости от того, используете ли вы Semantic Layer. В проекте без Semantic Layer мы рекомендуем активно денормализовать данные, следуя лучшим практикам, описанным ниже. С другой стороны, если вы используете Semantic Layer, мы стремимся сохранять модели максимально нормализованными, чтобы предоставить MetricFlow наибольшую гибкость. Подробнее см. в разделе The dbt Semantic Layer and marts.

Это слой, на котором всё собирается воедино: мы начинаем объединять все наши атомы (стейджинговые модели) в полноценные клетки, у каждой из которых есть собственная идентичность и назначение. Иногда мы называем его слоем сущностей или слоем концепций, чтобы подчеркнуть: каждая наша витрина должна представлять конкретную сущность или концепцию на присущем ей уровне детализации. Например, заказ, клиент, территория, событие клика, платёж — для каждого из этих понятий создаётся отдельная витрина, а каждая строка представляет отдельный экземпляр соответствующей сущности или концепции. Однако, в отличие от традиционной схемы «звезда» по Кимбаллу, в современных хранилищах данных — где хранение дёшево, а вычисления дороги — мы охотно заимствуем и добавляем любые данные из других концепций, если они помогают отвечать на вопросы об основной сущности витрины. В рамках такого подхода формировать одни и те же данные в нескольких местах, как мы делаем с orders в приведённом ниже примере витрины customers, эффективнее, чем снова и снова соединять данные этих концепций (по сути, это и есть определение денормализации в данном контексте). Давайте посмотрим, как мы подходим к построению этого первого слоя, предназначенного непосредственно для конечных пользователей.

Мартсы: Файлы и папки​

Слой витрин данных в нашем примере проекта содержит по одной модели для каждой основной бизнес-сущности:

models/marts
├── customers.sql
├── customers.yml
├── locations.sql
├── locations.yml
├── order_items.sql
├── order_items.yml
├── orders.sql
├── orders.yml
├── products.sql
├── products.yml
├── supplies.sql
└── supplies.yml

✅ Группируйте по отделам или направлениям деятельности. Если у вас меньше 10 витрин или около того, особой необходимости в подпапках может не быть, поэтому, как и в случае с промежуточным слоем, не спешите с излишней оптимизацией. Если же вам всё-таки потребуется более чёткая структура и группировка, используйте понятные бизнес-концепции. На слое витрин нас уже не заботит соответствие данных структуре источников, поэтому группировка по отделам (маркетинг, финансы и т. д.) — наиболее распространённая структура на этом этапе.

✅ Называйте по сущности. Используйте простые английские слова для названия файла, исходя из сущности, которая определяет уровень детализации витрины: customers, orders. В названиях витрин без агрегации по временным интервалам (чистых витрин) не должно быть временного измерения (orders_per_day): такую агрегацию обычно лучше реализовывать с помощью метрик.

❌ Создавайте одну и ту же концепцию по-разному для разных команд. finance_orders и marketing_orders обычно считаются антипаттерном. Как всегда, есть исключения — распространенный шаблон, который мы видим, заключается в том, что финансы могут иметь специфические потребности, например, отчетность о доходах для правительства, которая отличается от того, как компания в целом измеряет доходы ежедневно. Просто убедитесь, что они четко спроектированы и понятны как отдельные концепции, а не как ведомственные представления одной и той же концепции: tax_revenue и revenue, а не finance_revenue и marketing_revenue.

❌ Реализовывать одну и ту же концепцию по-разному для разных команд. Модели finance_orders и marketing_orders обычно считаются антипаттерном. Как всегда, бывают исключения: например, финансовому отделу может требоваться представлять сведения о выручке государственным органам иначе, чем компания в целом рассчитывает выручку в повседневной работе. Просто убедитесь, что эти модели явно спроектированы и понятны как отдельные концепции, а не как представления разных отделов об одной и той же концепции: tax_revenue и revenue, а не finance_revenue и marketing_revenue.

Витрины данных: модели​

Наконец, рассмотрим лучшие практики для моделей в каталоге marts на примере двух наших моделей витрин данных. Это сущности, согласованные с бизнесом — то есть созданные с учётом нашего видения и потребностей, — ради создания которых мы и объединяли преобразованные компоненты.

-- orders.sql

with

orders as (

select * from {{ ref('stg_orders') }}

),

order_items as (

select * from {{ ref('order_items') }}

),

order_items_summary as (

select
order_id,

sum(supply_cost) as order_cost,
sum(product_price) as order_items_subtotal,
count(order_item_id) as count_order_items,
sum(
case
when is_food_item then 1
else 0
end
) as count_food_items,
sum(
case
when is_drink_item then 1
else 0
end
) as count_drink_items

from order_items

group by 1

),

compute_booleans as (

select
orders.*,

order_items_summary.order_cost,
order_items_summary.order_items_subtotal,
order_items_summary.count_food_items,
order_items_summary.count_drink_items,
order_items_summary.count_order_items,
order_items_summary.count_food_items > 0 as is_food_order,
order_items_summary.count_drink_items > 0 as is_drink_order

from orders

left join
order_items_summary
on orders.order_id = order_items_summary.order_id

)

select * from compute_booleans
-- customers.sql

with

customers as (

select * from {{ ref('stg_customers') }}

),

orders as (

select * from {{ ref('orders') }}

),

customer_orders_summary as (

select
orders.customer_id,

count(distinct orders.order_id) as count_lifetime_orders,
count(distinct orders.order_id) > 1 as is_repeat_buyer,
min(orders.ordered_at) as first_ordered_at,
max(orders.ordered_at) as last_ordered_at,
sum(orders.subtotal) as lifetime_spend_pretax,
sum(orders.tax_paid) as lifetime_tax_paid,
sum(orders.order_total) as lifetime_spend

from orders

group by 1

),

joined as (

select
customers.*,

customer_orders_summary.count_lifetime_orders,
customer_orders_summary.first_ordered_at,
customer_orders_summary.last_ordered_at,
customer_orders_summary.lifetime_spend_pretax,
customer_orders_summary.lifetime_tax_paid,
customer_orders_summary.lifetime_spend,

case
when customer_orders_summary.is_repeat_buyer then 'returning'
else 'new'
end as customer_type

from customers

left join customer_orders_summary
on customers.customer_id = customer_orders_summary.customer_id

)

select * from joined
  • ✅ Материализуются как таблицы или инкрементальные модели. Когда мы доходим до слоя витрин, пора начинать сохранять в хранилище не только логику преобразований, но и сами данные. Это значительно ускоряет работу конечных пользователей с моделями этого слоя, которые как раз и предназначены для них, и сокращает затраты на повторные вычисления по всем цепочкам моделей каждый раз, когда кто-то обновляет дашборд или выполняет регрессионный анализ в Python. Хорошее общее правило выбора материализации — всегда начинать с представления (оно практически не занимает места и всегда возвращает актуальные результаты); когда выполнение запросов к этому представлению становится непрактично долгим, материализуйте его как таблицу; наконец, когда построение этой таблицы начинает занимать слишком много времени и замедляет выполнение моделей, настройте её как инкрементальную модель. Как всегда, начинайте с простого и усложняйте только по мере необходимости. Моделям с наибольшими объёмами данных и наиболее ресурсоёмкими преобразованиями определённо стоит использовать отличные возможности инкрементальной материализации dbt, но поспешный перевод всех моделей витрин в инкрементальный режим по умолчанию создаст ненужные сложности. Рекомендуем прочитать эту классическую статью Тристана об ограничениях инкрементального моделирования.
  • ✅ Широкие и денормализованные. В отличие от традиционных подходов к организации хранилищ, в современном стеке данных хранение стоит дёшево, а вычисления — дорого, и именно их оптимизации следует отдавать приоритет. Поэтому цель — объединять данные в очень широкие денормализованные структуры, содержащие всё, что может понадобиться пользователю о конкретной сущности.
  • ❌ Слишком много соединений в одной витрине. Хорошее практическое правило при построении преобразований в dbt — не объединять слишком много сущностей в одной витрине. Что именно считать «слишком большим количеством», зависит от ситуации. Если вам нужно объединить 8 моделей слоя staging только с помощью простых соединений, это вполне допустимо. И наоборот: если вы объединяете 4 сущности с помощью сложных и ресурсоёмких оконных функций, этого уже может быть слишком много. Нужно сопоставлять количество соединяемых моделей со сложностью логики внутри витрины. Если эту логику слишком трудно прочитать и составить о ней ясное представление, стоит разбить её на модули. Хотя это и не жёсткое правило, если для создания витрины вы объединяете больше 4–5 сущностей, добавление промежуточных моделей может сделать логику понятнее. Две промежуточные модели, каждая из которых объединяет три сущности, и витрина, объединяющая эти две промежуточные модели, обычно дают гораздо более понятную цепочку логики, чем одна витрина с шестью соединениями.
  • ✅ Используйте другие витрины как основу обдуманно. Хотя мы стремимся сохранять сужающийся DAG вплоть до слоя витрин, на этом слое правила могут стать немного менее строгими. Типичный пример — передача информации между витринами с разной детализацией, как мы видели выше, когда включали витрину orders в витрину customers, чтобы агрегировать важные данные о заказах на уровне customer. Теперь, когда мы действительно «расходуем» вычислительные ресурсы и место для хранения, физически создавая данные в результирующих моделях, разумно использовать уже построенные ресурсы, чтобы ускорить создание результатов, которым нужны похожие данные, и сократить затраты, вместо того чтобы заново вычислять одни и те же представления и CTE. Правильный подход здесь во многом зависит от вашего конкретного DAG, моделей и целей. Важно лишь отметить, что использовать одну витрину для построения другой, расположенной дальше по цепочке, допустимо, но это требует тщательного обдумывания, чтобы избежать напрасного расходования ресурсов или циклических зависимостей.
Витрины имеют детализацию на уровне сущности.

Главная особенность витрин в том, что они содержат все полезные данные о конкретной сущности на детальном уровне. Это не означает, что мы не включаем множество других сущностей и понятий, например большой объём данных о user в витрину orders, — ещё как включаем! Это лишь означает, что отдельные orders остаются базовым уровнем детализации нашей таблицы. Если мы начинаем группировать users и orders по непрерывному ряду дат, получая что-то вроде user_orders_per_day, мы выходим за рамки витрин и переходим к метрикам.

Мартсы: Другие соображения​

  • Диагностируйте проблемы с помощью таблиц. Последовательное использование представлений и эфемерных моделей вплоть до витрин данных — с материализацией данных в хранилище только в конце цепочки, когда мы получаем модели, с которыми действительно должны работать конечные пользователи, — идеально подходит для промышленной эксплуатации, но может создавать некоторые сложности при разработке. В частности, может казаться, что определённые ошибки возникают в более поздних моделях, хотя на самом деле их источник находится в гораздо более ранних зависимостях в цепочке моделей (моделях-предках в нашем DAG, которые строятся до модели, выдающей ошибки). Если вам сложно определить, где возникает ошибка базы данных или о чём она сообщает, может быть полезно временно материализовать определённую цепочку моделей в виде таблиц, чтобы хранилище выдало ошибку именно там, где она действительно возникает.

Семантический слой dbt и мартсы​

Наши рекомендации по структуре во многом зависят от того, используете ли вы Semantic Layer. Если вы используете Semantic Layer, мы рекомендуем более нормализованный подход к построению витрин данных. Если вы не используете Semantic Layer, мы рекомендуем более денормализованный подход, ставший типичным для проектов dbt. Полный список рекомендаций по структуре, именованию и организации в Semantic Layer приведён в руководстве Как мы строим метрики, в частности в разделе Рефакторинг существующей агрегированной модели.

Нашли ошибку?

0
Loading