# Для кого предназначен dbt Mesh?

Перед тем как приступать к внедрению Mesh, важно понять, подходит ли Mesh именно вашей команде. Ниже мы описываем три распространённые организационные структуры, которые помогут определить, может ли Mesh соответствовать потребностям вашей организации.

## Корпоративный data mesh

Некоторые команды по работе с данными функционируют в глобальном масштабе. По определению, такой команде необходимо управлять, развёртывать и распространять data-продукты для большого количества команд. Центральное IT-подразделение может владеть частью data-продуктов или же только платформой, на которой эти data-продукты создаются. Часто в таких организациях есть «архитекторы», которые могут консультировать бизнес-команды по их работе, одновременно отслеживая, что происходит на глобальном уровне (с точки зрения инструментов и содержания работы). Это во многом похоже на то, как устроены крупные софтверные организации после достижения определённого масштаба.

Соотношение численности доменных команд к платформенным в этом сценарии составляет примерно ≥10:1. На каждого участника центральной платформенной команды могут приходиться десятки участников доменно-ориентированных data-команд.

Подходит ли Mesh в таком сценарии? Безусловно! Другого способа масштабно делиться data-продуктами просто нет. Один dbt-проект не сможет удовлетворить глобальные потребности организации такого уровня.

### Советы и рекомендации

* **Управление общими макросами**: Команды, работающие в таком масштабе, выиграют от наличия отдельного репозитория с dbt-пакетом, содержащим переиспользуемые утилитарные макросы, которые будут устанавливаться во все остальные проекты. Это отличается от public models, которые предоставляют data-as-a-service (набор «API-эндпоинтов») — здесь речь идёт о распространении в виде **библиотеки**. Такой пакет также может стандартизировать подключение других сторонних пакетов, а также предоставлять обёртки / шимы для этих макросов. У этого пакета должна быть выделенная команда мейнтейнеров — вероятно, центральная платформенная команда или группа «суперпользователей» из доменно-ориентированных команд по моделированию данных.

подсказка

Чтобы помочь вам начать работу, ознакомьтесь с нашим [Quickstart with Mesh](https://docs.getdbt.tech/guides/mesh-qs.md) или пройдите наш онлайн‑курс [Mesh course](https://learn.getdbt.com/courses/dbt-mesh), чтобы узнать больше!

### Сложности внедрения

* Онбординг сотен людей и десятков проектов неизбежно сопровождается трениями. Проблемы масштабируемой глобальной организации нельзя недооценивать. Для начала миграции стоит в приоритетном порядке выбирать команды с хорошим знанием dbt и сильной базой. Mesh — это развитие базовых развертываний dbt, поэтому таким командам будет проще пройти переход.

  Кроме того, имеет смысл отдавать приоритет командам, которые управляют стратегически важными data-активами, требующими широкого распространения. Это позволит Mesh быстрее начать приносить ощутимую ценность.

Если это похоже на вашу организацию, Mesh — архитектура, к которой вам стоит стремиться. ✅

## Hub-and-spoke

Некоторые чуть менее крупные организации всё ещё работают с центральной data-командой, обслуживающей несколько бизнес-ориентированных аналитических команд, при соотношении численности примерно 5:1. Такие центральные команды меньше похожи на классическое IT-подразделение и больше — на современную data-платформенную команду аналитических инженеров. Эта команда предоставляет большую часть data-продуктов остальной организации, а также инфраструктуру, позволяющую downstream-командам запускать собственные spoke-проекты для обеспечения качества и сопровождения ядра платформы.

Подходит ли Mesh в таком сценарии? Почти наверняка! Если ваша центральная data-команда начинает становиться узким местом в работе аналитиков, вам нужен способ позволить этим командам работать относительно независимо, при этом сохраняя качество наиболее используемых data-продуктов. Mesh создан именно для решения этой задачи.

### Советы и рекомендации

* **Продукты данных создаются отдельными командами для всех:** Команды периферийных проектов (spoke) не должны создавать публичные модели. Напротив, разработка в проекте центральной команды (hub) должна идти медленнее и более тщательно, с акцентом на создание базовых публичных моделей, совместно используемых в разных доменах. Мы рекомендуем предоставить участникам центральной команды доступ (как минимум только для чтения) к нижестоящим проектам: это поможет проводить более детальный анализ влияния изменений в Catalog. Если публичная модель или отдельный столбец в ней не используются ни в одном нижестоящем проекте, центральная команда может с большей уверенностью их удалить. Однако ей всё равно следует при необходимости использовать функции управления dbt, такие как `deprecation_date` и `version`, чтобы обозначить ожидаемые изменения. Если публичную модель из периферийного проекта нужно совместно использовать в нескольких проектах, сначала стоит рассмотреть, можно ли и следует ли перенести её в центральный проект.
* **Источники:** Периферийным командам следует разрешать и рекомендовать определять и использовать источники данных, *специфичные для их домена*. Команде платформы не нужно учитывать, например, данные `Thinkific` при построении основных витрин данных, но проекту обучения это может понадобиться. *Никакие два источника в dbt mesh не должны указывать на один и тот же объект relation.* Если периферийной команде кажется, что ей нужен источник, который уже использует центральная команда, следует изменить интерфейсы так, чтобы периферийная команда могла получать всё необходимое из проекта платформы.
* **Качество проектов:** Команды, в большей степени ориентированные на аналитику, могут различаться по уровню навыков и требованиям к качеству. Ответственность за свои данные означает и ответственность за последствия. Центральная команда не отвечает за весь цикл поставки ресурсов данных, а помогает другим командам работать самостоятельно: её роль — устанавливать ограничения и обеспечивать проверки качества, а не исправлять все проблемы в точном соответствии со своими предпочтениями (и тем самым оставаться узким местом).

### Сложности внедрения

У этой архитектуры есть компромиссы, особенно для hub-команды, которая управляет и поддерживает public models. В этом рабочем процессе намеренно заложено трение, чтобы снизить вероятность непреднамеренных изменений моделей, нарушающих негласные data-контракты. Эти гарантии могут требовать определённых жертв — например, более быстрого онбординга или более гибких процессов разработки. По сравнению с единым проектом, где разработкой занимается ограниченный круг людей, эта архитектура оптимизирует более медленную разработку с участием более широкого круга участников.

Если это похоже на вашу организацию, с большой вероятностью Mesh вам подойдёт. ✅

## Монолит одной команды

Некоторые организации работают в ещё меньшем масштабе. Если ваша data-организация — это одна небольшая команда, которая полностью контролирует процесс создания и сопровождения всех data-продуктов в компании, Mesh может быть не нужен. Сложность проектов обычно возникает из-за большого количества источников данных и стейкхолдеров. Однако при таком размере команды работа с единой кодовой базой может быть самым эффективным способом управления data-продуктами. Как правило, если команда такого размера и охвата задумывается о внедрении Mesh, это связано с желанием улучшить дизайн интерфейсов и/или производительность отдельных частей dbt DAG, а не с необходимостью решать организационную проблему.

*Подходит ли Mesh?* Возможно! Есть причины разделять большой монолитный проект на несколько, чтобы упростить оркестрацию и управление моделями. Однако если одни и те же люди управляют каждым проектом, они могут прийти к выводу, что накладные расходы на сопровождение нескольких проектов не оправдывают получаемые выгоды.

Если это похоже на вашу организацию, стоит внимательно оценить, подходит ли вам Mesh.
