Переход на платформу dbt: начало работы

Назад к гайдам Общее расчетное время: 3–4 часа

Миграция

Платформа dbt

Средний

Введение

Переход с самостоятельно развернутого dbt на dbt platform упрощает рабочие процессы аналитической инженерии, позволяя командам разрабатывать, тестировать, развертывать и исследовать продукты данных в едином полностью управляемом программном сервисе. Слой данных — основа надежной аналитики и ИИ; dbt platform предоставляет средства управления, общие определения и надежность для масштабирования обоих направлений — без скрытых затрат самостоятельного размещения в виде рабочего времени инженеров и неэффективного использования вычислительных ресурсов.

Изучите нашу серию руководств из трех частей о переходе с самостоятельно развернутого dbt на dbt platform. Эта серия идеально подходит пользователям, которые стремятся упростить рабочие процессы и расширить возможности аналитики:

Руководство	Информация	Аудитория
Переход на dbt platform: что нужно знать	Узнайте, что следует учесть при переходе на dbt platform и какие способы перехода доступны.	Руководители команд Администраторы
Переход на dbt platform: начало работы	Изучите шаги, необходимые для перехода на dbt platform.	Разработчики Инженеры данных Аналитики данных
Переход на dbt platform: советы по оптимизации	Узнайте, как повысить эффективность работы с dbt platform, на примере распространённых сценариев и полезных советов.	Все пользователи

Зачем переходить на платформу dbt?

Если ваша команда сейчас использует dbt в собственной инфраструктуре, возможно, вы читаете это руководство по следующим причинам:

Вы осознали, сколько сил требует поддержка такого развёртывания.
Сотрудник, который всё настроил, уже покинул команду.
Вас интересует, как dbt platform может помочь управлять сложным развёртыванием dbt, расширить круг участников или улучшить практики обеспечения безопасности и управления данными.
Вам нужна управляемая основа данных для ИИ — общие определения, отслеживание происхождения данных и тестирование, чтобы результаты аналитики и ИИ заслуживали доверия бизнеса.

Истинная стоимость самостоятельного размещения скрывается в часах работы инженеров и напрасно расходуемых вычислительных ресурсах. Платформа dbt устраняет эти накладные расходы благодаря управляемой инфраструктуре и разработке в браузере: больше людей могут участвовать в работе, а вы не становитесь узким местом.

Оркестрация с учётом состояния теперь называется dbt State

dbt State работает со всеми движками и средами: dbt v1, dbt platform и dbt v2.

Если вы использовали оркестрацию с учётом состояния до 1 июня 2026 года, вы можете продолжить её использовать. После запуска бесплатного пробного периода dbt State его продолжительность будет увеличена по сравнению со стандартными 30 днями. Если продление не применилось к вашей учётной записи, свяжитесь с командой, которая её сопровождает. Чтобы начать, обратитесь к разделу Переход с оркестрации с учётом состояния.

Слой данных — это слой ИИ: убедитесь, что данные проверены, чётко определены и заслуживают доверия на всех этапах обработки.

Переход на dbt platform упрощает рабочие процессы благодаря полностью управляемой среде, которая улучшает совместную работу, безопасность и оркестрацию. С dbt platform вы получаете доступ к таким возможностям, как взаимодействие между командами (dbt Mesh), управление версиями, оптимизированные процессы CI/CD, Catalog для всестороннего изучения данных и многое другое — всё это упрощает управление сложными развёртываниями dbt и позволяет эффективно масштабировать рабочие процессы обработки данных.

Это идеальный вариант для команд, которые хотят сократить затраты на поддержку собственной инфраструктуры, одновременно улучшая управление данными и повышая продуктивность.

Что такое dbt?

dbt platform — самый быстрый и надежный способ развертывания dbt. Платформа позволяет разрабатывать, тестировать, развертывать и исследовать продукты данных в едином полностью управляемом сервисе. Управление инфраструктурой берет на себя платформа — без самописных скриптов и ненадежной оркестрации. Оркестрация с учетом состояния обрабатывает только то, что изменилось, сокращая расход вычислительных ресурсов и времени. Разработка в браузере и dbt Wizard позволяют аналитикам участвовать в разработке, поэтому вам больше не приходится лично заниматься каждым изменением. Благодаря сквозной информации о происхождении данных, общим определениям метрик и CI, выявляющей регрессии до развертывания в рабочей среде, вы тратите меньше времени на отладку и больше — на разработку. dbt platform также поддерживает:
- Инструменты разработки для разных ролей (Studio IDE или dbt platform CLI)
- Готовые рабочие процессы CI/CD
- Semantic Layer для согласованного определения метрик
- Владение данными на уровне доменов с помощью многопроектных конфигураций dbt Mesh
- Catalog для упрощения поиска и понимания данных

Подробнее о возможностях dbt platform.

dbt — инструмент с открытым исходным кодом, который позволяет командам по работе с данными определять и выполнять преобразования данных в облачном хранилище, следуя лучшим практикам аналитической инженерии. Такой подход может хорошо работать для отдельных специалистов и небольших технических команд, однако вся разработка ведется через интерфейс командной строки (CLI), а развертывание и сопровождение в рабочей среде необходимо обеспечивать самостоятельно.

Вы берете на себя затраты на каждое обновление, каждый сбой запуска CI и каждый запрос, который отвлекает вас от основной работы: обслуживание инфраструктуры, отладку конвейера CI и обработку каждого изменения, требующего доступа к CLI. Использование вычислительных ресурсов остается без контроля, обновления сопряжены с рисками, а простого способа выяснить, что сломалось и почему, нет. Все это требует значительных и дорогостоящих усилий по сопровождению и масштабированию, которые со временем только растут — при этом отсутствуют средства управления, общие определения и надежное тестирование.

Чему вы научитесь

В этом руководстве описаны шаги для перехода с самостоятельно развернутого dbt на dbt platform и основные необходимые технические изменения:

Настройка учетной записи: узнайте, как создать учетную запись dbt platform, пригласить участников команды и настроить ее для совместной работы.
Настройка платформы данных: узнайте, как подключить вашу платформу данных к dbt platform.
Настройка Git: научитесь связывать репозиторий Git вашего проекта dbt с dbt platform.
Настройка для разработчиков: разберитесь, какие настройки необходимы для разработки в dbt platform.
Переменные окружения: узнайте, как управлять переменными окружения в dbt platform, включая их приоритет.
Настройка оркестрации: узнайте, как подготовить среду и задания dbt platform для оркестрации.
Настройка моделей: узнайте, как проверять и запускать модели в dbt platform с помощью Studio IDE или CLI dbt platform.
Что дальше?: подведите итоги и узнайте, что вас ждет в следующих руководствах.

Связанная документация

Изучение dbt — видеообучение в удобное время.
Запишитесь на демонстрации с экспертами, чтобы получить полезные рекомендации
Обратитесь к команде профессиональных услуг dbt Labs за поддержкой вашей команды по работе с данными и помощью при миграции.

Предварительные требования

У вас есть существующий проект dbt, подключенный к репозиторию Git и платформе данных, которую поддерживает dbt platform.
У вас есть учетная запись dbt platform. Еще нет? Начните бесплатный пробный период сегодня!

Настройка учетной записи

В этом разделе описаны шаги по созданию учетной записи dbt platform и ее настройке для вашей команды.

Создайте учетную запись dbt platform.
Предоставьте пользователям доступ и пригласите их в свою учетную запись и проект dbt platform.
Настройте единый вход (SSO) или управление доступом на основе ролей (RBAC) для удобного и безопасного доступа. Enterprise Enterprise +
- Это устраняет необходимость хранить пароли и секретные переменные окружения локально.

Дополнительная настройка

Рассмотрите эти дополнительные настройки для повышения производительности и надежности:

В разделе Account settings включите частичный разбор, чтобы повторно разбирать только измененные файлы и экономить время.
В разделе Account settings включите кэширование репозитория Git для повышения надежности заданий и защиты от сбоев сторонних сервисов. Enterprise Enterprise +

Настройка платформы данных

В этом разделе описаны особенности и способы подключения вашей платформы данных к dbt platform.

В dbt platform настройте подключения к платформе данных и переменные окружения. dbt platform поддерживает подключение к платформам данных различных поставщиков, включая:
Вы можете проверить подключения к платформе данных, нажав кнопку Test connection в настройках учетных данных для развертывания и пользователя.

Дополнительная настройка

Рассмотрите эти дополнительные настройки для дальнейшей оптимизации подключения к платформе данных:

Используйте подключения OAuth, обеспечивающие безопасную аутентификацию через SSO вашей платформы данных. Enterprise Enterprise +

Настройка Git

Исходный код вашего существующего проекта dbt должен храниться в репозитории Git. В этом разделе вы подключите исходный код существующего проекта dbt из Git к dbt platform.

Убедитесь, что ваш проект dbt находится в репозитории Git.
В разделе Account settings выберите Integrations, чтобы подключить репозиторий Git к dbt platform:
- (Рекомендуется) Подключитесь с помощью одной из встроенных интеграций в dbt platform (например, с GitHub, GitLab или Azure DevOps).
  
  Этот способ предпочтителен благодаря своей простоте, средствам безопасности (включая безопасный вход через OAuth и автоматизированные рабочие процессы, такие как сборки CI для пул-реквестов) и общему удобству использования.
- Импортируйте репозиторий Git, используя любой допустимый URL Git, который указывает на проект dbt.

Настройка для разработчиков

В этом разделе описаны настройки, необходимые для разработки проекта dbt. Рассматриваются следующие темы:

Среды dbt

Наиболее распространенные среды работы с данными — рабочая среда (production), промежуточная среда (staging) и среда разработки (development). В самостоятельно развернутом dbt управление средами осуществляется через target — различные наборы параметров подключения.

Среды dbt platform предоставляют дополнительные возможности:

Интеграция с такими функциями, как планирование заданий и управление версиями, упрощает управление полным жизненным циклом проектов dbt в рамках одной платформы.
Упрощение переключения между контекстами разработки, промежуточной и рабочей сред.
Удобная настройка сред через интерфейс dbt platform вместо ручного редактирования файла profiles.yml. Вы также можете задать или настроить имена целевых подключений в dbt platform.
Добавление атрибутов profiles.yml с помощью расширенных атрибутов; по ссылке описано, где настраивать их для сред развертывания и разработки.
Использование кэширования репозитория Git для защиты от сбоев сторонних сервисов, ошибок аутентификации Git и других проблем. Enterprise Enterprise +

Шаги первоначальной настройки

Настройте среду разработки — Настройте среду разработки и учетные данные пользователя. Это необходимо для доступа к проекту dbt и начала разработки.
Версия dbt — В среде dbt platform выберите канал выпусков для регулярного обновления версии dbt. Если ваша команда планирует использовать и самостоятельно развернутый dbt, и dbt platform для разработки или развертывания проекта dbt, выполните dbt --version в командной строке, чтобы узнать используемую версию dbt.
- При использовании самостоятельно развернутого dbt вам необходимо следить за используемой версией и самостоятельно управлять обновлениями. В dbt platform используйте каналы выпусков, чтобы не заниматься этим вручную.
Подключитесь к платформе данных — В dbt platform вы можете подключиться к платформе данных непосредственно через пользовательский интерфейс.
- Каждая среда примерно соответствует записи в файле profiles.yml. Это означает, что файл profiles.yml в вашем проекте не нужен.
Инструменты разработки — Настройте рабочее пространство разработки с помощью CLI dbt platform (интерфейс командной строки или редактор кода) либо Studio IDE (в браузере), чтобы выполнять сборку, тестирование, запуск и управление версиями кода dbt в удобном для вас инструменте.
- Если вы ранее установили dbt, в документации по установке CLI dbt platform вы найдете дополнительные сведения об установке CLI dbt platform, создании псевдонимов команд и удалении dbt для плавного перехода.

Дополнительная настройка

Рассмотрите эти дополнительные настройки для дальнейшей оптимизации среды разработчика:

Пользовательские имена целевых подключений — Использование custom target.names в проектах dbt помогает различать среды (например, среду разработки, промежуточную и рабочую среды). Хотя значения custom target.name можно указать в учетных данных для разработки или в настройках оркестрации, мы рекомендуем использовать переменные окружения. Они обеспечивают более понятный способ работы с различными средами и лучше поддерживаются функцией частичного разбора dbt, в отличие от логики {{ target }}, предназначенной для определения подключения к хранилищу данных.

Команды dbt

Ознакомьтесь с командами dbt, поддерживаемыми при разработке в dbt platform. Например, dbt init в dbt platform не требуется, поскольку новый проект можно создать непосредственно в dbt platform.

Переменные окружения

Этот раздел поможет вам разобраться, как настраивать переменные окружения dbt platform для вашего проекта и управлять ими. Рассматриваются следующие темы:

В dbt platform можно задавать переменные окружения через пользовательский интерфейс (UI) dbt platform. Подробнее см. в разделе Настройка переменных окружения.

В самостоятельно развернутом dbt переменные окружения, используемые в том числе функцией env_var, определяются вручную разработчиком или во внешнем приложении, запускающем dbt.

Переменные окружения в dbt

Переменные окружения dbt platform должны начинаться с префикса DBT_ (включая DBT_ENV_CUSTOM_ENV_ или DBT_ENV_SECRET).
Если переменные окружения вашего самостоятельно развернутого dbt не соответствуют этому соглашению об именовании, выполните поиск и замену в проекте, чтобы все ссылки на эти переменные окружения соответствовали требуемому соглашению.
dbt platform защищает переменные окружения, позволяющие более гибко настраивать подключения к хранилищам данных или интеграции с поставщиками Git, и предоставляет дополнительные меры защиты конфиденциальных значений, например добавление к именам переменных префикса DBT_ENV_SECRET для их скрытия в журналах и пользовательском интерфейсе.

Настройка значений на уровне проекта и среды

Порядок приоритета переменных окружения dbt

Переменные окружения в dbt platform управляются в соответствии с четким порядком приоритета, позволяющим задавать значения на четырех уровнях (от высшего приоритета к низшему):

Уровень задания (переопределение для задания) или уровень отдельного разработчика в Studio IDE (персональное переопределение). Высший приоритет
Уровень среды, который может быть переопределен на уровне задания или персональным переопределением.
Значение по умолчанию для всего проекта, которое может быть переопределено на уровне среды, задания или персональным переопределением.
Необязательный аргумент со значением по умолчанию, передаваемый функции Jinja env_var в коде. Низший приоритет

Порядок приоритета переменных окружения

Настройка переменных окружения в dbt

Чтобы задать эти переменные для всего проекта или отдельных сред, перейдите на вкладку Deploy > Environments > Environment variables.
Чтобы задать эти переменные на уровне задания, перейдите в Deploy > Jobs > выберите задание > Settings > Advanced settings.
Чтобы задать эти переменные на уровне персонального переопределения, перейдите в Your profile > Credentials > выберите проект > Environment variables.

Настройка оркестрации

В этом разделе описаны особенности и способы настройки сред и заданий dbt platform для оркестрации. Рассматриваются следующие темы:

Среды dbt

Чтобы использовать планировщик заданий dbt platform, настройте одну из сред как рабочую. Это среда развертывания. Вы можете настроить несколько сред для разных этапов конвейера развертывания, например разработку, промежуточную среду/проверку качества (staging/QA) и рабочую среду.

Шаги первоначальной настройки

Версия dbt — В настройках среды укажите для dbt platform ту же версию dbt, которую используете сейчас.
- После завершения миграции мы рекомендуем перевести ваши среды на каналы выпусков, чтобы всегда получать новейшие возможности и другие улучшения. Это нужно сделать только один раз.
Настройте задания — Создайте задания dbt для запуска по расписанию или событиям. Можно использовать запуск по cron, вручную, по пул-реквестам или по завершении другого задания.
- Помимо заданий в dbt platform, ознакомьтесь с другими способами планирования и запуска заданий dbt с помощью сторонних инструментов. Подробнее см. в разделе Интеграция с другими инструментами.

Дополнительная настройка

Рассмотрите эти дополнительные настройки для дальнейшей оптимизации оркестрации в dbt platform:

Пользовательские имена целевых подключений — Используйте переменные окружения, чтобы задать custom target.name на уровне среды для каждого соответствующего задания dbt platform.
Команды dbt — Добавьте необходимые команды dbt для выполнения заданий dbt platform.
Уведомления — Настройте уведомления по электронной почте и в Slack, чтобы отслеживать выполнение заданий.
Инструменты мониторинга — Используйте инструменты мониторинга, такие как история запусков, повторные попытки выполнения заданий, цепочки заданий, плитки состояния на панелях мониторинга и другие, для бесперебойной оркестрации.
Доступ к API — При необходимости создайте токены аутентификации API и настройте доступ к API dbt platform. Starter Enterprise
Catalog — Если вы используете Catalog и запускаете задания рабочей среды через внешний оркестратор, убедитесь, что эти задания выполняют dbt run или dbt build для обновления и просмотра моделей и их метаданных в Catalog. Выполнение только dbt compile не обновляет метаданные моделей. Кроме того, таким функциям, как отслеживание происхождения данных на уровне столбцов, необходимы метаданные каталога, создаваемые при выполнении dbt docs generate. Starter Enterprise

Настройка CI/CD

Создать собственное решение для эффективной проверки кода при поступлении пул-реквестов непросто. В dbt platform можно включить непрерывную интеграцию / непрерывное развертывание (CI/CD) и настроить запуск проектов dbt во временной схеме при отправке новых коммитов в открытые пул-реквесты.

Рабочий процесс непрерывной интеграции в dbt

Эта функция сборки по пул-реквесту — отличный способ выявлять ошибки до развертывания в рабочей среде и важнейший инструмент для специалистов по работе с данными.

Настройте встроенную интеграцию с приложением Git (например, Azure DevOps, GitHub или GitLab) и среду CI в dbt platform.
Создайте задание CI/CD, чтобы автоматизировать проверки качества до развертывания кода в рабочей среде.
Запустите задания в рабочей среде, чтобы полностью реализовать CI/CD. В дальнейшем при обработке пул-реквестов для сравнения также будут использоваться последние запуски в рабочей среде.

Разработка и исследование моделей

В этом разделе вы сможете проверить, корректно ли выполняются и компилируются ваши модели в выбранном инструменте разработки: Studio IDE или CLI dbt platform.

Убедитесь, что вы настроили среду разработки и учетные данные.

В выбранном инструменте разработки просмотрите проект dbt, убедитесь в правильности его настройки и выполните несколько команд dbt:
- Выполните dbt compile, чтобы убедиться, что проект компилируется корректно.
- Запустите несколько моделей в Studio IDE или CLI dbt platform, чтобы убедиться в корректности результатов в среде разработки.
После первого успешного выполнения задания в рабочей среде используйте Catalog, чтобы просмотреть ресурсы проекта (например, модели, тесты и метрики) и их data lineage, чтобы лучше понять последнее состояние проекта в рабочей среде. Starter Enterprise