Перейти к основному содержимому

Средний уровень: Шаги трансформации, созданные для определенных целей

Примечание о примере проекта.

В примере проекта Jaffle Shop для простоты используется схема staging → marts. В более крупных проектах между staging и marts часто добавляют промежуточный слой. На этой странице рассказывается, когда и как использовать этот слой.

Подготовив атомы к работе, мы приступим к их объединению в более сложные, взаимосвязанные молекулярные структуры. Промежуточный слой — это место, где обитают такие молекулы: здесь они образуют разнообразные структуры с конкретными задачами на пути к более сложным белкам и клеткам, с помощью которых мы вдохнём жизнь в наши продукты на основе данных.

Средний уровень: Файлы и папки​

В проекте, использующем промежуточный слой, модели обычно находятся в подкаталоге intermediate/:

models/intermediate
└── finance
├── _int_finance__models.yml
└── int_orders_summed_to_customer.sql
  • Папки
    • ✅ Подкаталоги по бизнес-направлениям. Как и в слое staging, мы разместим модели этого слоя в отдельной подпапке intermediate. Но, в отличие от слоя staging, здесь мы переходим к структуре, согласованной с бизнесом: разбиваем модели на подкаталоги не по системам-источникам, а по бизнес-направлениям.
  • Имена файлов
    • ✅ int_[entity]s_[verb]s.sql - разнообразие преобразований, которые могут выполняться в промежуточном слое, затрудняет установление строгих правил именования. Лучший ориентир для промежуточного слоя — глаголы (например, pivoted, aggregated_to_user, joined, fanned_out_by_quantity, funnel_created и т. д.). В более крупном проекте можно использовать промежуточную модель для агрегации позиций заказов до уровня детализации заказа и назвать её int_order_items_summed_to_orders. Любой человек сможет быстро понять, что происходит в этой модели, даже если он не знает SQL. Такая ясность стоит длинного имени файла. Важно отметить, что в этом слое мы отказались от двойных подчёркиваний. Переходя к понятиям, согласованным с бизнесом, мы больше не нуждаемся в разделении системы и сущности и по возможности просто указываем унифицированную сущность. В случаях, когда промежуточные модели должны работать на уровне системы-источника (например, int_shopify__orders_summed, int_core__orders_summed, которые впоследствии будут объединены через union), двойные подчёркивания следует сохранить. Некоторые также предпочитают отделять сущность от глаголов двойным подчёркиванием. Это вопрос предпочтений, но, по нашему опыту, в этом слое между сущностями и глаголами часто существует неразрывная связь, из-за которой такое разделение трудно поддерживать.
Не увлекайтесь оптимизацией слишком рано!

Проект в примере намеренно очень прост, чтобы наглядно продемонстрировать подход. При столь небольшом количестве моделей такой уровень разделения в слоях после staging, скорее всего, избыточен. Помните: наша цель — единый источник истины. Мы не хотим, чтобы финансовый отдел и маркетинг работали с отдельными моделями orders: мы хотим использовать проект dbt, чтобы привести эти определения к единому виду! Поэтому не спешите с разделением и оптимизацией. Если у вас меньше 10 моделей витрин данных и нет проблем с их разработкой и использованием, можно полностью обойтись без подкаталогов (кроме слоя staging, где их всегда следует создавать по мере добавления новых систем-источников в проект), пока проект не вырастет настолько, что они действительно понадобятся. Использование dbt всегда направлено на то, чтобы делать сложное простым.

Средний уровень: Модели​

Промежуточные модели служат одной чёткой цели: подготовке моделей слоя staging для витрин данных. Распространённые приёмы включают группировку и разворот данных для перехода к другой детализации, развёртывание строк в несколько строк и изоляцию сложной логики, чтобы модели витрин оставались понятными.

  • ❌ Доступны конечным пользователям. Промежуточные модели, как правило, не следует размещать в основной производственной схеме. Они не предназначены для непосредственного использования в конечных продуктах, таких как дашборды или приложения, поэтому лучше отделять их от моделей, предназначенных для этих целей: так проще управлять доступом к данным и их обнаружением.
  • ✅ Материализованы как ephemeral. Учитывая вышесказанное, один из популярных вариантов — по умолчанию использовать для промежуточных моделей материализацию ephemeral. Обычно это самый простой вариант для начала. Он позволяет не создавать в хранилище лишние модели при минимальных настройках. Однако помните, что простота ephemeral несколько усложняет диагностику проблем: такие модели встраиваются в модели, которые ссылаются на них через ref, а не существуют отдельно с возможностью просмотреть их результат.
  • ✅ Материализованы как представления в пользовательской схеме со специальными правами доступа. Более надёжный вариант — материализовать промежуточные модели как представления в отдельной пользовательской схеме, за пределами основной производственной схемы. По мере роста количества и сложности моделей это даёт больше возможностей для анализа в процессе разработки и упрощает диагностику проблем, оставаясь простым в реализации решением, которое занимает пренебрежимо мало места. Сопоставление папок со схемами по умолчанию описано в разделе Сопоставление папок проекта со схемами хранилища.
Поддерживайте порядок в хранилище!

У графа знаний организации, который мы кодируем, есть три интерфейса: dbt, структура папок нашей кодовой базы и результат, создаваемый в хранилище. Поэтому очень важно осознанно подходить к тому, что мы создаём в хранилище! Рассматривайте схемы, таблицы и представления, которые мы создаём в хранилище, как часть пользовательского опыта наряду с дашбордами, машинным обучением, приложениями и другими сценариями использования данных, на которые вы ориентируетесь. Для этого крайне важно давать создаваемым объектам понятные имена и правильно их группировать, а модели, не предназначенные для широкого использования, либо не материализовывать, либо создавать в специальных областях с особыми правами доступа.

  • Промежуточные модели помогают разделять сложную логику моделей витрин на части, поэтому их назначение может быть столь же разнообразным, как и задачи преобразования данных. Вот некоторые из наиболее распространённых сценариев использования промежуточных моделей:

    • ✅ Упрощение структуры. Объединение разумного количества (обычно от 4 до 6) сущностей или понятий (моделей слоя staging или, возможно, других промежуточных моделей), которые затем будут соединены с другой промежуточной моделью аналогичного назначения для создания витрины. Вместо 10 соединений в модели витрины мы можем соединить две промежуточные модели, каждая из которых содержит часть сложной логики. Это повышает читаемость, гибкость, возможности тестирования и прозрачность наших компонентов.
    • ✅ Изменение детализации. Промежуточные модели часто используют для развёртывания или свёртывания данных до нужной составной детализации. Например, если мы строим витрину для order_items и нам нужно развернуть orders на основе столбца quantity, создав отдельную строку для каждой единицы товара, лучше всего сделать это в отдельной промежуточной модели. Так модель витрины останется понятной, а правильность детализации будет проще проверить до объединения с другими компонентами.
    • ✅ Изоляция сложных операций. Особенно сложные или трудные для понимания фрагменты логики полезно выносить в отдельные промежуточные модели. Это не только упрощает их доработку и диагностику проблем, но и делает последующие модели проще: они могут ссылаться на соответствующее понятие более понятным образом. Например, в приведённом выше примере развёртывания строк по quantity изоляция сложной логики позволяет быстро отлаживать и тщательно тестировать это преобразование, а нижестоящие модели могут ссылаться на order_items интуитивно понятным способом.
Сужайте DAG, расширяйте таблицы.

Пока мы не дошли до слоя витрин и не начали создавать различные конечные результаты, в идеале наш DAG должен напоминать наконечник стрелы, направленный вправо. Переходя от данных, организованных в соответствии с источниками, к данным, организованным в соответствии с бизнесом, мы также переходим от множества узких, изолированных понятий к меньшему числу более широких, объединённых понятий. Мы собираем компоненты в более широкие и содержательные понятия, что и придаёт нашему DAG такую форму. Благодаря этому к моменту перехода на слой витрин у нас есть надёжный набор компонентов, которые можно быстро и легко комбинировать любым нужным образом, чтобы отвечать на самые разные вопросы и удовлетворять конкретные потребности. Один из практических ориентиров, позволяющих следовать этому подходу на уровне отдельной модели, — допускать несколько входов в модель, но не несколько выходов. Несколько стрелок, входящих в наши модели после слоя staging, — это хорошо и ожидаемо; несколько выходящих стрелок — тревожный сигнал. Безусловно, бывают ситуации, когда это правило нужно нарушить, но о нём стоит помнить, относиться к таким случаям внимательно и по возможности их избегать.

Нашли ошибку?

0
Loading