Часто задаваемые вопросы о dbt Mesh
Mesh — это новая архитектура, реализованная с помощью dbt. Она позволяет эффективнее управлять сложностью, развертывая несколько взаимосвязанных проектов dbt вместо одного большого монолитного проекта. Эта архитектура призвана ускорить разработку без ущерба для управления данными.
Обзор Mesh
Вот некоторые преимущества внедрения dbt Mesh:
- Быстрее выпускать продукты данных: Благодаря более модульной архитектуре команды могут быстро и независимо вносить изменения в конкретные области без воздействия на всю систему, что приводит к более быстрым циклам разработки.
- Улучшение доверия к данным: Применение dbt Mesh помогает гарантировать, что изменения в моделях данных одного домена не нарушат неожиданно зависимости в других областях домена, что приводит к более безопасной и предсказуемой среде данных.
- Снижение сложности: Организуя логику трансформации в отдельные домены, dbt Mesh снижает сложность, присущую большим монолитным проектам, делая их более управляемыми и понятными.
- Улучшение сотрудничества: Команды могут делиться и развивать работу друг друга без дублирования усилий.
Самое главное, все это можно достичь без потери центральной командой данных возможности видеть родословную по всей организации или компрометации механизмов управления.
dbt model contracts служат инструментом управления, который позволяет определять и обеспечивать соблюдение стандартов структуры данных в ваших моделях dbt. Они дают возможность задавать и поддерживать гарантии для моделей данных, включая типы данных колонок, что обеспечивает стабильность зависимых моделей. Если модель не соответствует установленным для неё контрактам, она не будет успешно собрана.
dbt model versions — это итерации ваших dbt-моделей, создаваемые с течением времени. Во многих случаях вы можете осознанно решить изменить структуру модели таким образом, что это «сломает» предыдущий контракт модели и может нарушить работу downstream‑запросов, зависящих от структуры этой модели. В таких ситуациях создание новой версии модели полезно для явного обозначения этого изменения.
Вы можете использовать версии моделей для:
- Тестирования изменений "предрелизной" версии (в производстве, в последующих системах).
- Повышения последней версии, чтобы использовать ее в качестве канонического "источника истины".
- Предоставления окна миграции от "старой" версии.
Model access modifier в dbt определяет, может ли модель быть доступна как входная (input) для других моделей и проектов dbt. Он указывает, где именно модель может быть использована с помощью функции ref. Существует три типа access modifiers:
- Частный: Модель с частным модификатором доступа может быть упомянута только моделями в той же группе. Это предназначено для моделей, которые являются деталями реализации и предназначены для использования только в определенной группе связанных моделей.
- Защищенный: Модели с защищенным модификатором доступа могут быть упомянуты любой другой моделью в том же проекте dbt или когда проект установлен как пакет. Это настройка по умолчанию для всех моделей, обеспечивающая обратную совместимость, особенно когда группы назначаются существующему набору моделей.
- Публичный: Публичная модель может быть упомянута в разных группах, пакетах или проектах. Это подходит для стабильных и зрелых моделей, которые служат интерфейсами для других команд или проектов.
Model group в dbt — это концепция, используемая для организации моделей в рамках общей категории или по признаку владения. Такая категоризация может основываться на различных критериях, например на команде, ответственной за модели, или на конкретном источнике данных, который эти модели описывают.
Это новый способ работы, и намеренность, необходимая для создания и поддержания интерфейсов и зависимостей между проектами, может показаться замедлением по сравнению с тем, к чему привыкли некоторые разработчики. Введенное намеренное трение способствует обдуманным изменениям, формируя мышление, которое ценит стабильность и систематические корректировки больше, чем быстрые трансформации.
Оркестрация между несколькими проектами также, вероятно, будет немного более сложной для многих организаций, хотя мы в настоящее время разрабатываем новую функциональность, которая упростит этот процесс.
dbt Mesh позволяет вам лучше операционализировать data mesh, обеспечивая децентрализованное, доменно-специфическое владение данными и сотрудничество.
В data mesh каждый бизнес-домен отвечает за свои данные как за продукт. Это та же цель, которую dbt Mesh облегчает, позволяя организациям разбивать большие, монолитные проекты данных на более мелкие, доменно-специфические проекты dbt. Каждая команда или домен может независимо разрабатывать, поддерживать и делиться своими моделями данных, способствуя децентрализованной среде данных.
dbt Mesh также улучшает интероперабельность и повторное использование данных в разных доменах, что является ключевым аспектом философии data mesh. Позволяя перекрестные ссылки на проекты и совместное управление через контракты моделей и контроль доступа, dbt Mesh гарантирует, что, хотя владение данными децентрализовано, существует все же управляемая структура для общей архитектуры данных.
Как работает dbt Mesh
Вы можете включить двунаправленные зависимости между проектами, чтобы эти связи могли идти в любом направлении. Это означает, что проект jaffle_finance может добавить новую модель, которая зависит от любых публичных моделей, созданных проектом jaffle_marketing, при условии, что новая зависимость не вводит циклы на уровне узлов. dbt проверяет наличие циклов между проектами и выдает ошибки, если они обнаружены.
При настройке проектов, которые зависят друг от друга, важно делать это пошагово. Каждый проект должен выполняться и создавать публичные модели, прежде чем исходный проект-производитель сможет взять зависимость от исходного проекта-потребителя. Например, порядок действий для простой настройки из двух проектов будет следующим:
- Проект
project_aвыполняется в среде развертывания и создает публичные модели. - Проект
project_bдобавляетproject_aв качестве зависимости. - Проект
project_bвыполняется в среде развертывания и создает публичные модели. - Проект
project_aдобавляетproject_bв качестве зависимости.
Хотя в настоящее время невозможно делиться источниками между проектами, можно иметь общий базовый проект с моделями стадии поверх этих источников, которые выставлены как "публичные" модели для других команд/проектов.
Это будет breaking change для downstream‑потребителей этой модели. Если мейнтейнеры upstream‑проекта хотят удалить модель (или «понизить» её модификатор доступа, что по сути то же самое), им следует пометить эту модель как устаревающую, используя deprecation_date. В этом случае всем downstream‑потребителям этой модели будет выдано предупреждение.
В будущем мы планируем, что dbt также сможет заблаговременно предупреждать об этой ситуации в рамках непрерывной интеграции тех, кто поддерживает вышестоящую публичную модель.
Нет, если только апстрим‑проекты не установлены как packages (исходный код). В этом случае модели в проекте, установленном как пакет, становятся «вашими» моделями, и вы можете выбирать или запускать их. В некоторых ситуациях это может быть полезно; см. документацию по project dependencies.
Да, если проекты используют одну платформу данных и настроены разрешения и совместный доступ между их хранилищами.
Да, поскольку перекрестное сотрудничество между проектами осуществляется с использованием макроса {{ ref() }}, вы можете использовать эти модели от других команд в единичных тестах.
Каждая команда определяет свое подключение к хранилищу данных и имена схем по умолчанию, которые dbt будет использовать при материализации наборов данных.
По умолчанию каждый проект, принадлежащий команде, создаст:
- Одну схему для производственных запусков (например,
finance). - Одну схему на разработчика (например,
dev_jerco).
В зависимости от потребностей каждой команды это можно настроить с помощью конфигураций схем на уровне модели, включая возможность определения различных правил по средам.
Нет, contracts можно применять только на уровне модели. В качестве рекомендуемой best practice стоит определять staging models поверх sources, и уже на эти staging-модели можно задавать contracts.
Нет. Contract применяется ко всей модели, включая все колонки в результирующем наборе. Это тот же набор колонок, который увидит потребитель при просмотре деталей модели в Explorer или при запросе к модели в платформе данных.
- Если вы хотите законтрактовать только часть колонок, можно создать отдельную модель (materialized как view), которая выбирает только этот поднабор.
- Если вы хотите ограничить, какие строки или колонки увидит downstream-потребитель при запросе к данным модели (в зависимости от того, кто он), некоторые платформы данных предоставляют расширенные возможности динамического row-level access и column-level data masking.
Нет, группу можно назначить только одному владельцу. Однако назначенным владельцем может быть команда, а не отдельный человек.
Нет, group может быть назначен только одному owner. Однако назначенным owner может быть team, а не отдельный человек.
Непосредственно — нет, но контракты назначаются моделям, а модели могут быть назначены отдельным владельцам. Для этой цели можно использовать поля meta.
Да. Вы можете настроить dbt так, чтобы задание запускалось после завершения другого задания, в том числе задания из другого проекта. Это один из способов выполнить весь конвейер от начала до конца в нескольких проектах. Подробнее см. в разделе Запуск по завершении задания.
Да. Помимо встроенного просмотра в Catalog, связи происхождения данных между проектами можно просматривать с помощью партнерских интеграций с инструментами каталогизации данных. Список доступных интеграций dbt приведен на странице интеграций.
Тесты и контракты моделей в dbt помогают изначально избежать необходимости пересчёта данных. С помощью этих инструментов вы можете внедрить проверки на уровне источников и выходных данных ваших проектов dbt, чтобы оценивать качество данных в наиболее важных точках. При изменении логики преобразований (например, при изменении определения конкретного столбца) для пересчёта данных достаточно объединить обновлённый код с основной веткой и запустить задание dbt.
Если проблема с качеством данных всё же останется незамеченной, вы также можете просто отменить коммит git, а затем повторно запустить задание dbt со старым кодом.
Да, все эти метаданные доступны через Admin API dbt. Эти метаданные можно передавать в инструмент мониторинга или использовать для создания отчётов и дашбордов.
Часть этой информации также доступна в самом dbt — в заданиях, средах и в Catalog.
Например, можно использовать совместный доступ между аккаунтами Snowflake, обмен данными между рабочими областями Databricks Unity Catalog или несколько проектов BigQuery.
Например, можно использовать совместный доступ между аккаунтами Snowflake или обмен данными между метахранилищами Databricks Unity Catalog.
Разрешения и доступ
Существование проектов, в которых есть хотя бы одна публичная модель, будет видно всем в организации с доступом только для чтения.
Частные или защищенные модели требуют, чтобы пользователь имел доступ только для чтения к конкретному проекту, чтобы увидеть его существование.
В dbt есть доступ на уровне моделей, ролевой доступ для пользователей и групп в dbt, а также доступ к исходным данным на платформе данных.
Прежде всего: доступ к исходным данным всегда определяется и контролируется самой платформой данных (например, BigQuery, Databricks, Redshift, Snowflake, Starburst и т. д.). Этот доступ управляется с помощью выполнения операторов DCL (а именно grant). dbt позволяет легко настраивать grants для моделей, предоставляя доступ к данным другим ролям, пользователям и группам в хранилище данных. Однако dbt не определяет и не согласовывает эти права автоматически, если они не настроены явно. Ориентируйтесь на принятую в вашей организации систему управления правами доступа к хранилищу данных.
Тарифные планы dbt Enterprise и Enterprise+ поддерживают управление доступом на основе ролей (RBAC), которое позволяет детально настраивать права пользователей и групп пользователей. Вы можете определять, какие пользователи могут просматривать или изменять различные компоненты проекта dbt. Доступ пользователя к проектам dbt также определяет, может ли он подробно изучать эти проекты. Роли, пользователи и группы определяются в приложении dbt через пользовательский интерфейс или посредством интеграции с поставщиком удостоверений.
Доступ к моделям определяет, откуда можно ссылаться на модели. Он также влияет на то, можно ли обнаружить эти проекты в Catalog. Параметр модели access задаётся в коде, как и любая другая конфигурация модели (materialized, tags и т. д.).
-
Публичный доступ: На модели с доступом
publicможно ссылаться отовсюду. Это «продукты данных» вашей организации. -
Защищённый доступ: На модели с доступом
protectedможно ссылаться только в пределах того же проекта. Это уровень доступа к моделям по умолчанию. Мы обсуждаем будущее расширение возможностей моделейprotected, которое позволит ссылаться на них из определённых зависимых проектов. Ознакомьтесь с обсуждением на GitHub и проголосуйте или оставьте комментарий, если вас интересует такой сценарий использования. -
Приватный доступ: Группы моделей (
groups) позволяют более детально контролировать, откуда можно ссылаться на моделиprivate. Определив группу и настроив принадлежность моделей к ней, вы можете запретить другим моделям (не входящим в эту группу) ссылаться на любые моделиprivateв этой группе. Группы также предоставляют стандартный механизм определения владельца (owner) всех входящих в них ресурсов.
В Catalog модели public доступны для обнаружения каждому пользователю аккаунта dbt — каждая публичная модель отображается в представлении нескольких проектов. Напротив, модели protected и private в проекте видны только пользователям, у которых есть доступ к этому проекту (включая доступ только для чтения).
Поскольку dbt не согласовывает автоматически права grants в хранилище данных с параметром access на уровне моделей, между ними возможны несоответствия. Например, метаданные модели public доступны для просмотра всем пользователям dbt, и любой может написать ссылку ref на эту модель, но при фактическом запуске или предварительном просмотре обнаружить, что у него нет доступа к исходным данным в хранилище. Это сделано намеренно. Такой подход позволяет вашей организации сохранять доступ к исходным данным по принципу минимальных привилегий, одновременно обеспечивая видимость и возможность обнаружения моделей для более широкого круга сотрудников. Зная, какие ещё «продукты данных» (публичные модели) существуют, — их описания, владельцев и содержащиеся в них столбцы, — аналитик из другой команды может подготовить обоснованный запрос на доступ к исходным данным.
Пока нет. Эта возможность может появиться в будущем.
Да! Если у пользователя есть разрешения (как минимум доступ только для чтения) для всех проектов в аккаунте dbt, он может просматривать весь DAG организации в Catalog и видеть модели на всех уровнях детализации.
По умолчанию межпроектные ссылки разрешаются в среду развёртывания Production вышестоящего проекта. Если разработчикам нельзя открывать доступ к производственным данным, используйте отдельную среду для этих ссылок.
Назначьте вышестоящему проекту среду Staging. Тогда из сред разработки и CI межпроектные ссылки будут указывать на Staging, а из производственных сред — на Production.
Краткий ответ: "нет." Перекрестные ссылки на проекты требуют, чтобы каждое имя проекта было уникальным в вашем аккаунте dbt Cloud.
Исторические ограничения требовали от клиентов "дублировать" проекты, чтобы один фактический проект dbt (кодовая база) соответствовал более чем одному проекту dbt Cloud. В этой связи мы работаем над устранением исторических ограничений, которые требовали от клиентов "дублировать" проекты в dbt Cloud — Стадии для изоляции данных, разрешения на уровне среды и подключения к хранилищу данных на уровне среды (скоро появится). Как только эти элементы будут на месте, больше не будет необходимости определять отдельные проекты dbt Cloud для изоляции сред данных или разрешений.
Совместимость с другими возможностями
Semantic Layer и dbt Mesh — взаимодополняющие механизмы, реализованные в dbt. Они работают вместе, чтобы улучшить управление данными, удобство их использования и контроль над ними в масштабных средах данных.
Semantic Layer в dbt позволяет командам централизованно определять бизнес-метрики и измерения. Он обеспечивает согласованные и надежные определения метрик в различных аналитических инструментах и платформах.
Mesh позволяет организациям разделять архитектуру данных на несколько доменно‑ориентированных проектов, сохраняя при этом возможность ссылаться на «публичные» модели между проектами. Также возможно ссылаться на «публичную» модель из другого проекта с целью определения семантических моделей и метрик. Ваша организация может иметь несколько dbt‑проектов, которые наполняют единый семантический слой, обеспечивая согласованное и однозначное определение и понимание метрик и измерений во всех этих доменах.
При использовании Семантического слоя dbt в контексте dbt Mesh, мы рекомендуем следующее:
- У вас есть один отдельный проект, содержащий ваши семантические модели и метрики.
- Затем, по мере создания семантического слоя, вы можете ссылаться на модели dbt из разных проектов или пакетов, чтобы создавать семантические модели с помощью функции
refс двумя аргументами (ref('project_name', 'model_name')). - Ваш проект dbt Semantic Layer служит единым источником достоверных данных для всех остальных проектов.
При использовании dbt Mesh с Semantic Layer ссылки на модели из других проектов поддерживаются только в устаревшей спецификации YAML, где семантические модели определяются как ресурсы верхнего уровня и могут ссылаться на модели из других проектов.
В последней версии спецификации YAML семантические модели определяются в YAML-файлах моделей, и межпроектные ссылки пока не поддерживаются. Поддержку этой возможности в последней версии спецификации планируется добавить в одном из будущих выпусков.
Пример использования
Например, предположим, что у вас есть публичная модель (fct_orders), которая находится в проекте jaffle_finance. При создании семантической модели используйте следующий синтаксис, чтобы сослаться на эту модель с помощью ref:
semantic_models:
- name: customer_orders
defaults:
agg_time_dimension: first_ordered_at
description: |
Март на уровне клиентов, агрегирующий заказы клиентов.
model: ref('jaffle_finance', 'fct_orders') # ref('project_name', 'model_name')
entities:
...остальная часть конфигурации...
dimensions:
...остальная часть конфигурации...
measures:
...остальная часть конфигурации...
Обратите внимание, что в параметре model мы используем функцию ref с двумя аргументами, чтобы сослаться на публичную модель fct_orders, определённую в проекте jaffle_finance.
Catalog — это инструмент в составе dbt, который служит базой знаний и платформой для визуализации происхождения данных. Он предоставляет комплексное представление ваших ресурсов dbt, включая модели, тесты, источники и их взаимозависимости.
При использовании совместно с dbt Mesh Catalog становится мощным инструментом для визуализации и понимания связей и зависимостей между моделями в нескольких проектах dbt.
CLI dbt позволяет пользователям разрабатывать проекты и выполнять команды dbt в предпочитаемых средах разработки, таких как VS Code, Sublime Text или терминал. Такая гибкость особенно полезна при использовании dbt Mesh, где управление несколькими проектами может быть сложным. Разработчики могут работать в привычных инструментах, используя при этом централизованные возможности dbt.
Да! Вы можете перевести отдельные проекты на dbt v2, оставив остальные на dbt v1.
- Проекты на dbt v2 могут ссылаться на публичные модели из проектов на dbt v1
- Проекты на dbt v1 могут ссылаться на публичные модели из проектов на dbt v2
Это возможно благодаря тому, что dbt Mesh использует артефакт публикации (а не манифест) для разрешения межпроектных ссылок, и этот артефакт одинаков в dbt v1 и dbt v2.
Вы можете переводить проекты dbt Mesh на dbt v2 в любом порядке: начинать именно с вышестоящих или нижестоящих проектов не требуется.
Хотя базовая функциональность Mesh работает и в смешанных конфигурациях, некоторые расширенные возможности платформы (например, полное отображение происхождения данных между проектами в Catalog) работают лучше всего, когда все проекты используют один и тот же движок.
Доступность
Да, ваша учётная запись должна использовать dbt v1.6 или более позднюю версию, чтобы вы могли воспользоваться межпроектными зависимостями — одной из важнейших базовых возможностей, необходимых для реализации dbt Mesh.
Хотя локальные установки dbt (dbt CLI) содержат ряд основополагающих элементов dbt Mesh, dbt platform предлагает расширенные возможности их использования для совместной работы множества команд в большом масштабе. Этому способствует поиск и просмотр ресурсов из нескольких проектов в Catalog с учётом прав доступа каждого пользователя.
Несколько ключевых компонентов, лежащих в основе подхода dbt Mesh, включая контракты моделей, версии и модификаторы доступа, определены и реализованы в локальном dbt CLI. Мы считаем их частью базового языка, поэтому их реализации имеют открытый исходный код. Мы хотим определить стандартный подход, который инженеры по аналитике повсюду смогут применять, расширять и помогать нам совершенствовать.
Чтобы ссылаться на модели, определённые в другом проекте, пользователи также могут использовать пакеты — давно существующую возможность dbt. При импорте вышестоящего проекта в качестве пакета dbt импортирует все модели, определённые в этом проекте, что позволяет разрешать межпроектные ссылки на эти модели. При необходимости доступ можно ограничить только моделями с уровнем доступа public.
Главное отличие заключается в сервисе метаданных dbt platform, который доступен только для учётных записей в облаке и позволяет разрешать ссылки исключительно на публичные модели проекта. Этот сервис позволяет пользователям создавать зависимости от вышестоящих проектов и ссылаться только на их модели с уровнем доступа public, без необходимости загружать всю сложную структуру этих вышестоящих проектов в свою локальную среду разработки.
Да, для настройки нескольких проектов и создания ссылок на модели между ними необходим тариф dbt Enterprise. Подробнее о функциях, доступных в различных тарифах dbt, см. в разделе «Управление моделями».
Советы по внедрению dbt Mesh
См. наше руководство для разработчиков Как мы структурируем наши проекты dbt Mesh.
Вы также можете узнать, как внедрить dbt Mesh, следуя нашему Руководству по быстрому старту dbt Mesh.
Предположим, в вашей организации менее 500 моделей и менее дюжины регулярных участников dbt. Вы работаете на масштабе, который хорошо обслуживается монолитом (один проект), и более крупный шаблон dbt Mesh, вероятно, не принесет никаких немедленных преимуществ.
Никогда не рано думать о том, как вы организуете модели внутри этого проекта. Используйте группы моделей, чтобы определить четкие границы владения и частный доступ, чтобы ограничить использование моделей, созданных для определенной цели, от становления несущими блоками в несвязанной части DAG. Ваши будущие "я" будут благодарны вам за определение этих интерфейсов, особенно если вы достигнете масштаба, при котором имеет смысл "выпускать" интерфейсы между группами в границы между проектами.