# Средний уровень: Шаги трансформации, созданные для определенных целей

Примечание о примере проекта.

В примере проекта [Jaffle Shop](https://github.com/dbt-labs/jaffle-shop) для простоты используется схема **staging → marts**. В более крупных проектах между staging и marts часто добавляют промежуточный слой. На этой странице рассказывается, когда и как использовать этот слой.

Подготовив атомы к работе, мы приступим к их объединению в более сложные, взаимосвязанные молекулярные структуры. Промежуточный слой — это место, где обитают такие молекулы: здесь они образуют разнообразные структуры с конкретными задачами на пути к более сложным белкам и клеткам, с помощью которых мы вдохнём жизнь в наши продукты на основе данных.

### Средний уровень: Файлы и папки

В проекте, использующем промежуточный слой, модели обычно находятся в подкаталоге `intermediate/`:

```shell
models/intermediate
└── finance
    ├── _int_finance__models.yml
    └── int_orders_summed_to_customer.sql
```

* **Папки**
  * ✅ **Подкаталоги по бизнес-направлениям.** Как и в слое staging, мы разместим модели этого слоя в отдельной подпапке `intermediate`. Но, в отличие от слоя staging, здесь мы переходим к структуре, согласованной с бизнесом: разбиваем модели на подкаталоги не по системам-источникам, а по бизнес-направлениям.
* **Имена файлов**
  * `✅ int_[entity]s_[verb]s.sql` - разнообразие преобразований, которые могут выполняться в промежуточном слое, затрудняет установление строгих правил именования. Лучший ориентир для промежуточного слоя — *глаголы* (например, `pivoted`, `aggregated_to_user`, `joined`, `fanned_out_by_quantity`, `funnel_created` и т. д.). В более крупном проекте можно использовать промежуточную модель для агрегации позиций заказов до уровня детализации заказа и назвать её `int_order_items_summed_to_orders`. Любой человек сможет быстро понять, что происходит в этой модели, даже если он не знает [SQL](https://mode.com/sql-tutorial/). Такая ясность стоит длинного имени файла. Важно отметить, что в этом слое мы отказались от двойных подчёркиваний. Переходя к понятиям, согласованным с бизнесом, мы больше не нуждаемся в разделении системы и сущности и по возможности просто указываем унифицированную сущность. В случаях, когда промежуточные модели должны работать на уровне системы-источника (например, `int_shopify__orders_summed`, `int_core__orders_summed`, которые впоследствии будут объединены через union), двойные подчёркивания следует сохранить. Некоторые также предпочитают отделять сущность от глаголов двойным подчёркиванием. Это вопрос предпочтений, но, по нашему опыту, в этом слое между сущностями и глаголами часто существует неразрывная связь, из-за которой такое разделение трудно поддерживать.

Не увлекайтесь оптимизацией слишком рано!

Проект в примере намеренно очень прост, чтобы наглядно продемонстрировать подход. При столь небольшом количестве моделей такой уровень разделения в слоях после staging, скорее всего, избыточен. Помните: наша цель — *единый* *источник истины.* Мы не хотим, чтобы финансовый отдел и маркетинг работали с отдельными моделями `orders`: мы хотим использовать проект dbt, чтобы привести эти определения к единому виду! Поэтому не спешите с разделением и оптимизацией. Если у вас меньше 10 моделей витрин данных и нет проблем с их разработкой и использованием, можно полностью обойтись без подкаталогов (кроме слоя staging, где их всегда следует создавать по мере добавления новых систем-источников в проект), пока проект не вырастет настолько, что они действительно понадобятся. Использование dbt всегда направлено на то, чтобы делать сложное простым.

### Средний уровень: Модели

Промежуточные модели служат одной чёткой цели: подготовке моделей слоя staging для витрин данных. Распространённые приёмы включают группировку и разворот данных для перехода к другой детализации, развёртывание строк в несколько строк и изоляцию сложной логики, чтобы модели витрин оставались понятными.

* ❌ **Доступны конечным пользователям.** Промежуточные модели, как правило, не следует размещать в основной производственной схеме. Они не предназначены для непосредственного использования в конечных продуктах, таких как дашборды или приложения, поэтому лучше отделять их от моделей, предназначенных для этих целей: так проще управлять доступом к данным и их обнаружением.
* ✅ **Материализованы как ephemeral.** Учитывая вышесказанное, один из популярных вариантов — по умолчанию использовать для промежуточных моделей материализацию [ephemeral](https://docs.getdbt.tech/docs/build/materializations.md#ephemeral). Обычно это самый простой вариант для начала. Он позволяет не создавать в хранилище лишние модели при минимальных настройках. Однако помните, что простота ephemeral несколько усложняет диагностику проблем: такие модели встраиваются в модели, которые ссылаются на них через `ref`, а не существуют отдельно с возможностью просмотреть их результат.
* ✅ **Материализованы как представления в пользовательской схеме со специальными правами доступа.** Более надёжный вариант — материализовать промежуточные модели как представления в отдельной [пользовательской схеме](https://docs.getdbt.tech/docs/build/custom-schemas.md), за пределами основной производственной схемы. По мере роста количества и сложности моделей это даёт больше возможностей для анализа в процессе разработки и упрощает диагностику проблем, оставаясь простым в реализации решением, которое занимает пренебрежимо мало места. Сопоставление папок со схемами по умолчанию описано в разделе [Сопоставление папок проекта со схемами хранилища](https://docs.getdbt.tech/best-practices/how-we-structure/6-mapping-folders-to-warehouse.md).

Поддерживайте порядок в хранилище!

У графа знаний организации, который мы кодируем, есть три интерфейса: dbt, структура папок нашей кодовой базы и результат, создаваемый в хранилище. Поэтому очень важно осознанно подходить к тому, что мы создаём в хранилище! Рассматривайте схемы, таблицы и представления, которые мы создаём в хранилище, как *часть пользовательского опыта* наряду с дашбордами, машинным обучением, приложениями и другими сценариями использования данных, на которые вы ориентируетесь. Для этого крайне важно давать создаваемым объектам понятные имена и правильно их группировать, а модели, не предназначенные для широкого использования, либо не материализовывать, либо создавать в специальных областях с особыми правами доступа.

* Промежуточные модели помогают разделять сложную логику моделей витрин на части, поэтому их назначение может быть столь же разнообразным, как и задачи [преобразования данных](https://www.getdbt.com/analytics-engineering/transformation/). Вот некоторые из наиболее распространённых сценариев использования промежуточных моделей:

  * ✅ **Упрощение структуры.** Объединение разумного количества (обычно от 4 до 6) сущностей или понятий (моделей слоя staging или, возможно, других промежуточных моделей), которые затем будут соединены с другой промежуточной моделью аналогичного назначения для создания витрины. Вместо 10 соединений в модели витрины мы можем соединить две промежуточные модели, каждая из которых содержит часть сложной логики. Это повышает читаемость, гибкость, возможности тестирования и прозрачность наших компонентов.
  * ✅ **Изменение детализации.** Промежуточные модели часто используют для развёртывания или свёртывания данных до нужной составной детализации. Например, если мы строим витрину для `order_items` и нам нужно развернуть `orders` на основе столбца `quantity`, создав отдельную строку для каждой единицы товара, лучше всего сделать это в отдельной промежуточной модели. Так модель витрины останется понятной, а правильность детализации будет проще проверить до объединения с другими компонентами.
  * ✅ **Изоляция сложных операций.** Особенно сложные или трудные для понимания фрагменты логики полезно выносить в отдельные промежуточные модели. Это не только упрощает их доработку и диагностику проблем, но и делает последующие модели проще: они могут ссылаться на соответствующее понятие более понятным образом. Например, в приведённом выше примере развёртывания строк по `quantity` изоляция сложной логики позволяет быстро отлаживать и тщательно тестировать это преобразование, а нижестоящие модели могут ссылаться на `order_items` интуитивно понятным способом.

Сужайте DAG, расширяйте таблицы.

Пока мы не дошли до слоя витрин и не начали создавать различные конечные результаты, в идеале наш DAG должен напоминать наконечник стрелы, направленный вправо. Переходя от данных, организованных в соответствии с источниками, к данным, организованным в соответствии с бизнесом, мы также переходим от множества узких, изолированных понятий к меньшему числу более широких, объединённых понятий. Мы собираем компоненты в более широкие и содержательные понятия, что и придаёт нашему DAG такую форму. Благодаря этому к моменту перехода на слой витрин у нас есть надёжный набор компонентов, которые можно быстро и легко комбинировать любым нужным образом, чтобы отвечать на самые разные вопросы и удовлетворять конкретные потребности. Один из практических ориентиров, позволяющих следовать этому подходу на уровне отдельной модели, — допускать несколько *входов* в модель, но **не** несколько *выходов*. Несколько стрелок, *входящих* в наши модели после слоя staging, — это хорошо и ожидаемо; несколько *выходящих* стрелок — тревожный сигнал. Безусловно, бывают ситуации, когда это правило нужно нарушить, но о нём стоит помнить, относиться к таким случаям внимательно и по возможности их избегать.
