Переход на платформу dbt: что нужно знать

Назад к гайдам

Миграция

Платформа dbt

Средний уровень

Menu

Введение

Переход с самостоятельно размещённого dbt на dbt platform упрощает рабочие процессы аналитической инженерии, позволяя командам разрабатывать, тестировать, развёртывать и исследовать продукты данных с помощью единого, полностью управляемого программного сервиса. Речь не только об улучшенных инструментах — но и о снижении совокупной стоимости владения, обеспечении ИИ надёжными данными и масштабировании с контролируемым самообслуживанием.

Изучите нашу серию руководств из 3 частей о переходе с самостоятельно размещённого dbt на dbt platform. Эта серия идеально подходит пользователям, которые стремятся упростить рабочие процессы и улучшить аналитику:

Руководство	Информация	Аудитория
Переход на dbt platform: что нужно знать	Узнайте, что следует учесть при переходе на dbt platform и какие способы перехода доступны.	Руководители команд Администраторы
Переход на dbt platform: начало работы	Изучите шаги, необходимые для перехода на dbt platform.	Разработчики Инженеры данных Аналитики данных
Переход на dbt platform: советы по оптимизации	Узнайте, как повысить эффективность работы с dbt platform, на примере распространённых сценариев и полезных советов.	Все пользователи

Зачем переходить на платформу dbt?

Если ваша команда сейчас использует dbt в собственной инфраструктуре, возможно, вы читаете это руководство по следующим причинам:

• Вы осознали, сколько сил требует поддержка такого развёртывания.
• Сотрудник, который всё настроил, уже покинул команду.
• Вас интересует, как dbt platform может помочь управлять сложным развёртыванием dbt, расширить круг участников или улучшить практики обеспечения безопасности и управления данными.
• Вам нужна управляемая основа данных для ИИ — общие определения, отслеживание происхождения данных и тестирование, чтобы результаты аналитики и ИИ заслуживали доверия бизнеса.

Истинная стоимость самостоятельного размещения скрывается в часах работы инженеров и напрасно расходуемых вычислительных ресурсах. Платформа dbt устраняет эти накладные расходы благодаря управляемой инфраструктуре и разработке в браузере: больше людей могут участвовать в работе, а вы не становитесь узким местом.

Оркестрация с учётом состояния теперь называется dbt State

dbt State работает со всеми движками и средами: dbt v1, dbt platform и dbt v2.

Если вы использовали оркестрацию с учётом состояния до 1 июня 2026 года, вы можете продолжить её использовать. После запуска бесплатного пробного периода dbt State его продолжительность будет увеличена по сравнению со стандартными 30 днями. Если продление не применилось к вашей учётной записи, свяжитесь с командой, которая её сопровождает. Чтобы начать, обратитесь к разделу Переход с оркестрации с учётом состояния.

Слой данных — это слой ИИ: убедитесь, что данные проверены, чётко определены и заслуживают доверия на всех этапах обработки.

Переход на dbt platform упрощает рабочие процессы благодаря полностью управляемой среде, которая улучшает совместную работу, безопасность и оркестрацию. С dbt platform вы получаете доступ к таким возможностям, как взаимодействие между командами (dbt Mesh), управление версиями, оптимизированные процессы CI/CD, Catalog для всестороннего изучения данных и многое другое — всё это упрощает управление сложными развёртываниями dbt и позволяет эффективно масштабировать рабочие процессы обработки данных.

Это идеальный вариант для команд, которые хотят сократить затраты на поддержку собственной инфраструктуры, одновременно улучшая управление данными и повышая продуктивность.

 Что такое dbt и dbt v1?

• dbt platform — самый быстрый и надёжный способ развёртывания dbt. Платформа позволяет разрабатывать, тестировать, развёртывать и исследовать продукты данных с помощью единого, полностью управляемого сервиса. Она также поддерживает:
  • Средства разработки, адаптированные для разных категорий пользователей (Studio IDE или dbt platform CLI)
  • готовые CI/CD workflows
  • Semantic Layer для консистентных метрик
  • доменное владение данными с multi-project настройкой Mesh
  • Catalog для более простого поиска и понимания данных

Подробнее о возможностях dbt platform.

• dbt — инструмент с открытым исходным кодом, позволяющий командам по работе с данными определять и выполнять преобразования данных в облачном хранилище данных в соответствии с лучшими практиками аналитической инженерии. Хотя это может хорошо подходить для 'одиночных пользователей' и небольших технических команд, вся разработка ведётся через интерфейс командной строки, а развёртывание и обслуживание производственной среды необходимо выполнять самостоятельно. Это требует значительных и дорогостоящих усилий по обслуживанию и масштабированию, объём которых со временем растёт.

Чему вы научитесь

Сегодня тысячи компаний с командами по работе с данными численностью от 2 до 2,000 человек полагаются на dbt platform, чтобы ускорить работу с данными, улучшить совместную работу и завоевать доверие бизнеса. Понимание того, что потребуется для перехода между dbt platform и вашим текущим самостоятельно размещённым развёртыванием dbt, поможет выработать стратегию и спланировать переход.

В руководстве описаны следующие шаги:

• Что следует учитывать: Узнайте о наиболее важных аспектах, которые необходимо учитывать при переходе с самостоятельно размещённого dbt на dbt platform.
• Спланируйте переход: учитывайте такие вопросы, как роли и права пользователей, порядок онбординга, текущие workflows и т. д.
• Переход на dbt platform: Ознакомьтесь с шагами по переносу проекта dbt на dbt platform, включая настройку учётной записи, платформы данных и репозитория Git.
• Тестирование и валидация: узнайте, как обеспечить корректность моделей и производительность после перехода.
• Переход и обучение: Узнайте, как полностью перейти на dbt platform и какое обучение и поддержка могут вам понадобиться.
• Итоги: краткое резюме ключевых выводов и того, чему вы научились в этом руководстве.
• Что дальше?: что ожидать в следующих руководствах.

Важные аспекты

Если ваша команда сейчас использует самостоятельно размещённый dbt, возможно, вы читаете это руководство, потому что:

• Вы осознали, насколько обременительно обслуживать такое развёртывание.
• человек, который его настраивал, уже ушел;
• Вас интересует, как dbt platform может помочь лучше управлять сложностью вашего развёртывания dbt, расширить доступ для большего числа участников или улучшить практики безопасности и управления.

В этом руководстве описаны технические изменения и стратегии совместной работы команды, которые необходимо знать для переноса проекта с самостоятельно размещённого dbt на dbt platform. Каждое "самостоятельно созданное" развёртывание dbt немного отличается от других, но опыт миграции сотен команд позволяет выявить много общего.

Наиболее важные аспекты, которые необходимо учитывать при переходе с самостоятельно размещённого dbt на dbt platform:

• Как устроена ваша команда? Есть ли естественное разделение по доменам?
• Должен быть один проект или несколько? Какие dbt-ресурсы вы хотите стандартизировать и держать централизованно?
• У кого должны быть права на просмотр, разработку и администрирование?
• Как вы планируете запуск dbt-моделей в production?
• Как сейчас вы управляете Continuous integration/Continuous deployment (CI/CD) логических изменений (если вообще управляете)?
• Как вашим разработчикам данных удобнее работать?
• Как вы управляете разными data environments и разным поведением в этих окружениях?

dbt platform предоставляет стандартные механизмы для решения этих задач, каждый из которых приносит вашей организации долгосрочные преимущества:

• коллаборация между командами
• контроль доступа
• оркестрация
• изолированные data environments

Если вы самостоятельно развернули dbt на собственной инфраструктуре, вы, вероятно, нашли другие решения.

Спланируйте переход

Планируя переход, оцените ваш workflow и структуру команды, чтобы обеспечить плавный процесс. Ниже — ключевые моменты, которые стоит учесть:

 Начните с малого, чтобы минимизировать риски и получить максимум опыта

Необязательно переносить все команды и рабочие процессы всех разработчиков одновременно. Многие клиенты с крупными развёртываниями dbt начинают с переноса одной команды и одного проекта.

Когда преимущества единой платформы станут очевидны, перенесите остальные команды и рабочие процессы. Хотя долгосрочные 'гибридные' развёртывания могут вызывать сложности, такой подход может быть оправдан как временный этап перехода.

 Роли и обязанности пользователей

Оцените пользователей и роли (personas) до перехода, во время и после него.

• Администраторы: Спланируйте новые механизмы управления доступом в dbt platform, например решите, чем команды смогут управлять самостоятельно, а что следует стандартизировать. Определите, кто будет отвечать за настройку и обслуживание проектов, подключений к платформе данных и сред.
• Разработчики данных (аналитики данных, инженеры данных, инженеры аналитики, бизнес-аналитики): Определите порядок подключения пользователей, адаптацию рабочих процессов в dbt platform, обучение использованию dbt platform CLI или Studio IDE и изменения ролей.
• Потребители данных: исследуйте данные с помощью Catalog, чтобы просматривать ресурсы проекта (например модели, тесты и метрики) и их lineage, лучше понимая текущее production-состояние. StarterEnterprise

 Порядок подключения пользователей

Если у вас несколько команд разработчиков dbt, продумайте, с чего начать их последовательное подключение к dbt platform:

• Начните с downstream‑команд (например, команд внутри бизнеса), которым может быть удобнее разрабатывать в Studio IDE (менее техническим пользователям) и использовать функции шеринга (например auto‑deferral и Catalog) для стейкхолдеров; а затем переходите к более техническим командам.
• Рассмотрите возможность настройки задания CI в dbt platform (ещё до заданий разработки или производственной среды), чтобы упростить рабочие процессы разработки. Это особенно полезно, если процесс CI пока отсутствует.

 Проанализируйте текущие рабочие процессы, процессы проверки и структуру команд

Узнайте, как dbt platform может помочь упростить разработку, оркестрацию и тестирование:

• Разработка: разрабатывайте dbt‑модели, собирайте, тестируйте, запускайте и ведите version control, используя dbt platform CLI (CLI или code editor) или Studio IDE (в браузере).
• Оркестрация: создавайте кастомные расписания для production jobs — по дням недели, времени суток или с заданным интервалом.
  • Настройте задание CI, чтобы обеспечить эффективность работы разработчиков, и задания CD, чтобы развёртывать изменения сразу после их слияния.
  • Связывайте deploy jobs, триггеря job, когда другой завершился.
  • Для максимальной гибкости используйте dbt platform API, чтобы триггерить jobs. Это уместно, когда вы хотите интегрировать выполнение dbt с другими data workflows.
• Continuous integration (CI): используйте CI jobs, чтобы запускать dbt‑проект во временной схеме, когда новые коммиты пушатся в открытые pull requests. Такой build‑on‑PR отлично помогает ловить баги до деплоя в production.
  • Для многих команд CI в dbt platform — большое улучшение по сравнению с прежними workflows разработки.
• Как вы определяете тесты сейчас?: Хотя тестирование производственных данных важно, это не самый эффективный способ выявления логических ошибок, допущенных разработчиками Вы можете использовать модульное тестирование, чтобы проверять логику SQL-моделей на небольшом наборе статических входных данных до материализации полной модели в производственной среде.

 Разберитесь в управлении доступом

Перейдите на механизмы управления доступом в dbt platform, чтобы обеспечить безопасность и надлежащее управление доступом. Администраторы dbt platform могут использовать модель разрешений dbt platform для управления доступом на уровне пользователей в учётной записи dbt platform:

• License-based access controls: пользователям назначаются типы лицензий на уровне аккаунта. Эти лицензии определяют, что пользователь может делать в приложении: просматривать метаданные проекта, разрабатывать изменения в проектах или администрировать доступ к проектам.
• Role-based Access Control (RBAC): пользователи добавляются в groups с конкретными правами на конкретные проекты или на все проекты в аккаунте. Пользователь может состоять в нескольких groups, и эти groups могут иметь права на несколько проектов. EnterpriseEnterprise +

 Управление средами

Если из-за конфиденциальных данных вам требуется изоляция производственной и предпроизводственной сред данных, dbt platform поддерживает среды данных для разработки, подготовки к эксплуатации и эксплуатации.

Это дает разработчикам преимущества улучшенного workflow и при этом обеспечивает изоляцию между Staging и Production, а также блокирует права на Prod.

Переход на dbt

Это руководство — ваша дорожная карта, которая поможет продумать стратегии миграции и представить, как может выглядеть переход с самостоятельно размещённого dbt на dbt platform.

Рассмотрев важные аспекты и спланировав переход, вы можете начать перенос проекта dbt на dbt platform:

• Ознакомьтесь с подробным руководством Переход на dbt platform: Начало работы, в котором приведены полезные задачи и рекомендации для плавного перехода с самостоятельно размещённого dbt на dbt platform.

Более подробное сравнение самостоятельно размещённого dbt и dbt platform приведено в статье Сравнение dbt platform с самостоятельно размещённым dbt.

Тестирование и валидация

После базовой настройки dbt platform важно проверить результаты миграции, чтобы обеспечить бесперебойную работу и целостность данных:

• Проверьте dbt‑проект: убедитесь, что проект компилируется корректно и вы можете запускать команды. Проверьте корректность моделей и мониторьте производительность после перехода.
• Начните переключение: Вы можете начать переключение на dbt platform, создав в dbt platform задание с командами, которые выполняют лишь небольшую часть DAG. Убедитесь, что таблицы заполняются в нужной базе данных/схемах, как и ожидалось. Затем, по мере роста уверенности в результатах, расширяйте охват задания, включая в него дополнительные части DAG.
• Точное тестирование: используйте unit testing, чтобы валидировать логику SQL‑моделей на небольшом наборе статических входных данных до материализации полной модели в production.
• Доступ и разрешения: Проверьте и скорректируйте механизмы управления доступом и разрешения в dbt platform, чтобы соблюдать протоколы безопасности и защищать данные.

Переход и обучение

Убедившись, что оркестрация и CI/CD в dbt platform работают должным образом, приостановите текущий инструмент оркестрации и остановите или обновите текущий процесс CI/CD. Это не относится к случаям, когда вы продолжаете использовать внешний оркестратор (например Airflow) и заменили локальное выполнение dbt выполнением в dbt platform (через API).

Познакомьте команду с возможностями dbt platform и оптимизируйте процессы разработки и развёртывания. Вот некоторые ключевые возможности, на которые стоит обратить внимание:

• Каналы выпусков: Выберите канал выпусков для автоматического обновления версии dbt с подходящей для вашей команды периодичностью — это избавит от хлопот с ручными обновлениями и риска расхождения версий. Вы также сможете получать ранний доступ к новым функциям, ещё до их появления в самостоятельно размещённом dbt.
• Инструменты разработки: Используйте CLI dbt platform или Studio IDE для сборки, тестирования, выполнения и контроля версий ваших проектов dbt.
• Документация и актуальность источников: Автоматизируйте хранение документации и отслеживайте актуальность источников в dbt platform, чтобы упростить обслуживание проекта.
• Уведомления и логи: получайте мгновенные уведомления о падениях jobs со ссылками на детали job. Используйте подробные логи всех запусков для диагностики.
• CI/CD: Используйте функцию CI/CD в dbt platform для выполнения проектов dbt во временной схеме при каждой отправке новых коммитов в открытые запросы на слияние. Это помогает выявлять ошибки до развёртывания в производственной среде.

После перехода

Выбрав dbt platform в качестве платформы, вы получили возможность упростить совместную работу, повысить эффективность рабочих процессов и использовать мощные возможности для команд аналитической инженерии. Вот дополнительные функции, которые помогут раскрыть весь потенциал dbt platform:

• Журналы аудита: Используйте журналы аудита для просмотра действий сотрудников вашей организации. Журналы аудита содержат регистрируемые события пользователей и системы в реальном времени. Вы даже можете экспортировать всю историю действий (в том числе за пределами 90 дней, доступных для просмотра в dbt platform). EnterpriseEnterprise +
• API dbt platform: Используйте мощные API dbt platform для создания, чтения, обновления и удаления (CRUD) проектов/заданий/сред проекта. Административный API dbt platform и провайдер Terraform упрощают программный доступ и хранение конфигурации. При этом Discovery API предоставляет широкие возможности запросов к метаданным, таким как данные заданий, конфигурации моделей, использование и общее состояние проекта. StarterEnterprise
• Catalog: используйте Catalog, чтобы смотреть resources проекта (например модели, тесты и метрики) и их lineage, чтобы лучше понимать текущее production‑состояние (после успешного job в Production environment). StarterEnterprise
• dbt Semantic Layer: dbt Semantic Layer позволяет определять универсальные метрики на основе ваших моделей, которые затем можно запрашивать в инструменте бизнес-аналитики (BI). Это означает конец несогласованным метрикам — теперь есть централизованный способ определять эти метрики и обеспечивать их видимость в каждом компоненте потока данных. StarterEnterprise
• dbt Mesh: используйте dbt Mesh, чтобы шарить data models внутри организации, позволяя командам данных сотрудничать над общими моделями и переиспользовать работу других команд. EnterpriseEnterprise +

Дополнительная помощь

• Курсы dbt Learn: получите доступ к бесплатным видео‑курсам Learn dbt для обучения в удобном темпе.
• dbt Community: присоединяйтесь к dbt Community, чтобы общаться с другими пользователями dbt, задавать вопросы и делиться best practices.
• Служба поддержки dbt: Наша служба поддержки dbt всегда готова помочь вам решить проблемы с dbt. Создайте обращение в службу поддержки в dbt platform, и мы будем рады помочь!
• Account management: для Enterprise‑аккаунтов доступна команда account management, которая помогает с troubleshooting и поддержкой управления аккаунтом. Book a demo, чтобы узнать больше. EnterpriseEnterprise +

Итоги

Это руководство должно было помочь вам разобраться в переходе с самостоятельно размещённого dbt на dbt platform и дать основу для его организации. В руководстве были рассмотрены следующие ключевые области:

• Важные аспекты: понимание базовых шагов для успешной миграции, включая оценку текущей настройки и выявление ключевых факторов, связанных со структурой команды и потребностями workflow.

• Планирование перехода: Подчёркивается важность пересмотра рабочих процессов, распределения обязанностей по ролям и внедрения новых процессов, чтобы использовать преимущества совместной и эффективной работы в dbt platform.

• Переход на dbt platform: Приводится ссылка на руководство, описывающее технические шаги для переноса проекта dbt на dbt platform, включая настройку учётной записи, платформы данных и репозитория Git.

• Тестирование и валидация: акцент на технической стороне перехода, включая тестирование и валидацию dbt‑проектов в экосистеме dbt platform, чтобы обеспечить целостность данных и производительность.

• Переход и обучение: Поделитесь с командой полезной информацией о переходе, обучении и подключении пользователей. В полной мере используйте возможности dbt platform, от инструментов разработки (CLI dbt platform и Studio IDE) до расширенных функций, таких как Catalog, Semantic Layer и Mesh.

Что дальше?

Поздравляем с завершением этого руководства, надеемся, оно помогло вам понять, какие аспекты необходимо учитывать, чтобы наилучшим образом спланировать переход на dbt platform.

В качестве следующих шагов вы можете продолжить изучение нашей серии руководств из 3 частей о переходе с самостоятельно размещённого dbt на dbt platform:

Руководство	Информация	Аудитория
Переход на dbt platform: что нужно знать	Узнайте, что следует учесть при переходе на dbt platform и какие способы перехода доступны.	Руководители команд Администраторы
Переход на dbt platform: начало работы	Изучите шаги, необходимые для перехода на dbt platform.	Разработчики Инженеры данных Аналитики данных
Переход на dbt platform: советы по оптимизации	Узнайте, как повысить эффективность работы с dbt platform, на примере распространённых сценариев и полезных советов.	Все пользователи

Зачем переходить на платформу dbt?

Если ваша команда сейчас использует dbt в собственной инфраструктуре, возможно, вы читаете это руководство по следующим причинам:

• Вы осознали, сколько сил требует поддержка такого развёртывания.
• Сотрудник, который всё настроил, уже покинул команду.
• Вас интересует, как dbt platform может помочь управлять сложным развёртыванием dbt, расширить круг участников или улучшить практики обеспечения безопасности и управления данными.
• Вам нужна управляемая основа данных для ИИ — общие определения, отслеживание происхождения данных и тестирование, чтобы результаты аналитики и ИИ заслуживали доверия бизнеса.

Истинная стоимость самостоятельного размещения скрывается в часах работы инженеров и напрасно расходуемых вычислительных ресурсах. Платформа dbt устраняет эти накладные расходы благодаря управляемой инфраструктуре и разработке в браузере: больше людей могут участвовать в работе, а вы не становитесь узким местом.

Оркестрация с учётом состояния теперь называется dbt State

dbt State работает со всеми движками и средами: dbt v1, dbt platform и dbt v2.

Если вы использовали оркестрацию с учётом состояния до 1 июня 2026 года, вы можете продолжить её использовать. После запуска бесплатного пробного периода dbt State его продолжительность будет увеличена по сравнению со стандартными 30 днями. Если продление не применилось к вашей учётной записи, свяжитесь с командой, которая её сопровождает. Чтобы начать, обратитесь к разделу Переход с оркестрации с учётом состояния.

Слой данных — это слой ИИ: убедитесь, что данные проверены, чётко определены и заслуживают доверия на всех этапах обработки.

Переход на dbt platform упрощает рабочие процессы благодаря полностью управляемой среде, которая улучшает совместную работу, безопасность и оркестрацию. С dbt platform вы получаете доступ к таким возможностям, как взаимодействие между командами (dbt Mesh), управление версиями, оптимизированные процессы CI/CD, Catalog для всестороннего изучения данных и многое другое — всё это упрощает управление сложными развёртываниями dbt и позволяет эффективно масштабировать рабочие процессы обработки данных.

Это идеальный вариант для команд, которые хотят сократить затраты на поддержку собственной инфраструктуры, одновременно улучшая управление данными и повышая продуктивность.

Связанные материалы

• Курсы Learn dbt
• Запишитесь на демо от экспертов и получите инсайты
• Сотрудничайте с командой профессиональных услуг dbt Labs, чтобы получить поддержку для вашего подразделения по работе с данными и миграции.
• Сравнение dbt platform с самостоятельно размещённым dbt содержит подробное сравнение самостоятельно размещённого dbt и dbt platform.
• Подпишитесь на RSS‑уведомления dbt platform

Нашли ошибку?

Создать GitHub Issue