Переход с dbt Core на dbt Cloud: что нужно знать

Обновлен

Migration

dbt Core

dbt Cloud

Intermediate

Menu

Введение

Переход с dbt Core на dbt Cloud упрощает рабочие процессы аналитической инженерии, позволяя командам разрабатывать, тестировать, развертывать и исследовать продукты данных с помощью единого полностью управляемого программного сервиса.

Изучите нашу серию из трех частей о переходе с dbt Core на dbt Cloud. Эта серия идеально подходит для пользователей, стремящихся к упрощенным рабочим процессам и улучшенной аналитике:

Руководство	Информация	Аудитория
Переход с dbt Core на dbt Cloud: Что нужно знать	Поймите, какие аспекты и методы нужно учитывать при переходе с dbt Core на dbt Cloud.	Руководители команд Администраторы
Переход с dbt Core на dbt Cloud: Начало работы	Узнайте, какие шаги необходимы для перехода с dbt Core на dbt Cloud.	Разработчики Инженеры данных Аналитики данных
Переход с dbt Core на dbt Cloud: Советы по оптимизации	Узнайте, как оптимизировать работу с dbt Cloud с помощью распространенных сценариев и полезных советов.	Все

Почему стоит перейти на dbt Cloud?

Если ваша команда сегодня использует dbt Core, вы можете читать это руководство по следующим причинам:

• Вы осознали, насколько сложно поддерживать это развертывание.
• Человек, который его настроил, уже ушел.
• Вы заинтересованы в том, что dbt Cloud может предложить для лучшего управления сложностью вашего развертывания dbt, демократизации доступа для большего числа участников или улучшения практик безопасности и управления.

Переход с dbt Core на dbt Cloud упрощает рабочие процессы, предоставляя полностью управляемую среду, которая улучшает сотрудничество, безопасность и оркестрацию. С dbt Cloud вы получаете доступ к таким функциям, как межкомандное сотрудничество (dbt Mesh), управление версиями, упрощенный CI/CD, dbt Explorer для получения всесторонних инсайтов и многое другое — что облегчает управление сложными развертываниями dbt и эффективное масштабирование ваших рабочих процессов с данными.

Это идеальный выбор для команд, стремящихся снизить нагрузку на поддержку собственной инфраструктуры, одновременно улучшая управление и продуктивность.

 Что такое dbt Cloud и dbt Core?

• dbt Cloud — это самый быстрый и надежный способ развертывания dbt. Он позволяет разрабатывать, тестировать, развертывать и исследовать продукты данных с помощью единого полностью управляемого сервиса. Он также поддерживает:
  • Опыт разработки, адаптированный для различных ролей (dbt Cloud IDE или dbt Cloud CLI)
  • Готовые CI/CD рабочие процессы
  • Семантический слой dbt для согласованных метрик
  • Владение данными на уровне домена с многопроектными настройками dbt Mesh
  • dbt Explorer для упрощенного поиска и понимания данных

Узнайте больше о функциях dbt Cloud.

• dbt Core — это инструмент с открытым исходным кодом, который позволяет командам данных определять и выполнять преобразования данных в облачном хранилище данных, следуя лучшим практикам аналитической инженерии. Хотя это может хорошо работать для «одиночных игроков» и небольших технических команд, вся разработка происходит в интерфейсе командной строки, а производственные развертывания должны быть самостоятельно размещены и поддерживаться. Это требует значительных затрат времени и ресурсов на поддержание и масштабирование.

Чему вы научитесь

Сегодня тысячи компаний, с командами данных от 2 до 2000 человек, полагаются на dbt Cloud для ускорения работы с данными, увеличения сотрудничества и завоевания доверия бизнеса. Понимание того, что вам нужно сделать для перехода между dbt Cloud и вашей текущей установкой Core, поможет вам стратегически спланировать ваш переход.

Руководство описывает следующие шаги:

• Соображения: Узнайте о самых важных вещах, которые нужно учитывать при переходе с Core на Cloud.
• Планируйте ваш переход: Соображения, которые вам нужно учесть, такие как роли пользователей и разрешения, порядок адаптации, текущие рабочие процессы и многое другое.
• Переход на dbt Cloud: Ознакомьтесь с шагами по переносу вашего проекта dbt Core на dbt Cloud, включая настройку вашей учетной записи, платформы данных и репозитория Git.
• Тестирование и проверка: Узнайте, как обеспечить точность и производительность моделей после перехода.
• Переход и обучение: Узнайте, как полностью перейти на dbt Cloud и какое обучение и поддержка могут вам понадобиться.
• Резюме: Подводит итоги и ключевые выводы, которые вы узнали в этом руководстве.
• Что дальше?: Вводит в курс того, чего ожидать в следующих руководствах.

Соображения

Если ваша команда сегодня использует dbt Core, вы могли бы читать это руководство, потому что:

• Вы осознали бремя поддержания этой установки.
• Человек, который ее настроил, уже ушел.
• Вам интересно, что dbt Cloud может сделать для лучшего управления сложностью вашей установки dbt, демократизации доступа для большего числа участников или улучшения практик безопасности и управления.

Это руководство делится техническими корректировками и стратегиями командного сотрудничества, которые вам нужно знать, чтобы перенести ваш проект с dbt Core на dbt Cloud. Каждая «сделай сам» установка dbt Core будет немного отличаться, но после того, как сотни команд совершили миграцию, есть много общего.

Самые важные вещи, которые нужно учитывать при переходе с dbt Core на dbt Cloud:

• Как структурирована ваша команда? Есть ли естественные разделения доменов?
• Должен ли у вас быть один проект или несколько? Какие ресурсы dbt вы хотите стандартизировать и держать в центре?
• Кто должен иметь разрешение на просмотр, разработку и администрирование?
• Как вы планируете запуск ваших моделей dbt в производстве?
• Как вы в настоящее время управляете непрерывной интеграцией/непрерывным развертыванием (CI/CD) логических изменений (если вообще)?
• Как ваши разработчики данных предпочитают работать?
• Как вы управляете различными средами данных и различными поведениями в этих средах?

dbt Cloud предоставляет стандартные механизмы для решения этих вопросов, все из которых приносят долгосрочные выгоды вашей организации:

• Сотрудничество между командами
• Контроль доступа
• Оркестрация
• Изолированные среды данных

Если вы развернули свою собственную установку dbt Core, вы, вероятно, пришли к различным ответам.

Планируйте ваш переход

При планировании вашего перехода учитывайте ваш рабочий процесс и структуру команды, чтобы обеспечить плавный переход. Вот некоторые ключевые соображения, которые следует иметь в виду:

 Начните с малого, чтобы минимизировать риски и максимизировать обучение

Вам не нужно перемещать каждую команду и рабочий процесс каждого разработчика сразу. Многие клиенты с крупными установками dbt начинают с перемещения одной команды и одного проекта.

Как только преимущества консолидированной платформы становятся очевидными, перемещайте остальные команды и рабочие процессы. Хотя долгосрочные «гибридные» установки могут быть сложными, это может иметь смысл как временный этап.

 Роли и обязанности пользователей

Оцените пользователей или роли, участвующие до, во время и после перехода.

• Администраторы: Планируйте новые контроли доступа в dbt Cloud, такие как решение, какие команды могут управлять собой и что должно быть стандартизировано. Определите, кто будет ответственным за настройку и поддержку проектов, подключений к платформе данных и сред.
• Разработчики данных (аналитики данных, инженеры данных, аналитические инженеры, бизнес-аналитики): Определите порядок адаптации, адаптацию рабочих процессов в dbt Cloud, обучение использованию dbt Cloud CLI или dbt Cloud IDE, и изменения ролей.
• Потребители данных: Откройте для себя данные, используя dbt Explorer для просмотра ресурсов вашего проекта (таких как модели, тесты и метрики) и их родословной, чтобы лучше понять его текущее состояние в производстве. teamenterprise

 Порядок адаптации

Если у вас есть несколько команд разработчиков dbt, подумайте о том, как начать последовательность адаптации для dbt Cloud:

• Начните с нижестоящих (например, встроенных в бизнес команд), которые могут извлечь выгоду из dbt Cloud IDE как опыта разработки (менее технические пользователи) и функций совместного использования (таких как автоотклонение и dbt Explorer) для обмена с их заинтересованными сторонами, переходя к более техническим командам позже.
• Рассмотрите возможность настройки CI задания в dbt Cloud (даже до разработки или производственных заданий) для упрощения рабочих процессов разработки. Это особенно полезно, если нет существующего процесса CI.

 Анализ текущих рабочих процессов, обзор процессов и структуры команды

Узнайте, как dbt Cloud может помочь упростить разработку, оркестрацию и тестирование:

• Разработка: Разрабатывайте модели dbt, позволяя вам строить, тестировать, запускать и контролировать версии ваших проектов dbt с помощью dbt Cloud CLI (интерфейс командной строки или редактор кода) или dbt Cloud IDE (на основе браузера).
• Оркестрация: Создавайте пользовательские расписания для запуска ваших производственных заданий. Планируйте задания по дням недели, времени суток или с регулярным интервалом.
  • Настройте CI задание, чтобы обеспечить эффективность разработчиков, и CD задания для развертывания изменений, как только они будут объединены.
  • Связывайте задания развертывания, запуская задание при завершении другого.
  • Для максимальной гибкости используйте API dbt Cloud для запуска заданий. Это имеет смысл, когда вы хотите интегрировать выполнение dbt с другими рабочими процессами данных.
• Непрерывная интеграция (CI): Используйте CI задания для запуска ваших проектов dbt во временной схеме, когда новые коммиты отправляются в открытые запросы на слияние. Эта функция сборки на PR — отличный способ поймать ошибки до развертывания в производстве.
  • Для многих команд dbt Cloud CI представляет собой значительное улучшение по сравнению с их предыдущими рабочими процессами разработки.
• Как вы определяете тесты сегодня?: Хотя тестирование производственных данных важно, это не самый эффективный способ поймать логические ошибки, внесенные разработчиками. Вы можете использовать модульное тестирование, чтобы проверить вашу SQL-логику моделирования на небольшом наборе статических входных данных до того, как вы материализуете вашу полную модель в производстве.

 Понимание контроля доступа

Переходите к механизмам контроля доступа dbt Cloud, чтобы обеспечить безопасность и надлежащее управление доступом. Администраторы dbt Cloud могут использовать модель разрешений dbt Cloud для управления доступом на уровне пользователей в учетной записи dbt Cloud:

• Контроль доступа на основе лицензий: Пользователи настраиваются с типами лицензий на уровне учетной записи. Эти лицензии контролируют, что пользователь может делать в приложении: просматривать метаданные проекта, разрабатывать изменения в этих проектах или администрировать доступ к этим проектам.
• Контроль доступа на основе ролей (RBAC): Пользователи назначаются в группы с определенными разрешениями на конкретные проекты или все проекты в учетной записи. Пользователь может быть членом нескольких групп, и эти группы могут иметь разрешения на несколько проектов. enterprise

 Управление средами

Если вам требуется изоляция между производственными и пред-производственными средами данных из-за конфиденциальных данных, dbt Cloud может поддерживать среды данных для разработки, тестирования и производства environments.

Это предоставляет разработчикам преимущества улучшенного рабочего процесса, обеспечивая изоляцию между тестированием и производственными данными и ограничивая разрешения на Prod.

Переход на dbt Cloud

Это руководство — ваш дорожный план, который поможет вам обдумать стратегии миграции и то, как может выглядеть переход с dbt Core на dbt Cloud.

После рассмотрения соображений и планирования вашего перехода вы можете начать перенос вашего проекта dbt Core на dbt Cloud:

• Ознакомьтесь с подробным руководством по переходу на dbt Cloud: Начало работы для полезных задач и идей для плавного перехода с dbt Core на dbt Cloud.

Для более детального сравнения dbt Core и dbt Cloud ознакомьтесь с Как dbt Cloud сравнивается с dbt Core.

Тестирование и проверка

После установки основ dbt Cloud важно проверить вашу миграцию, чтобы обеспечить бесперебойную работу и целостность данных:

• Проверьте ваш проект dbt: Убедитесь, что ваш проект компилируется правильно и что вы можете выполнять команды. Убедитесь, что ваши модели точны, и следите за производительностью после перехода.
• Начните переход: Вы можете начать переход на dbt Cloud, создав задание dbt Cloud с командами, которые запускают только небольшую часть DAG. Убедитесь, что таблицы заполняются в нужных базах данных/схемах, как ожидалось. Затем продолжайте расширять охват задания, чтобы включить больше разделов DAG по мере уверенности в результатах.
• Точное тестирование: Используйте модульное тестирование, чтобы проверить вашу SQL-логику моделирования на небольшом наборе статических входных данных до того, как вы материализуете вашу полную модель в производстве.
• Доступ и разрешения: Проверьте и настройте контроль доступа и разрешения в dbt Cloud, чтобы поддерживать протоколы безопасности и защитить ваши данные.

Переход и обучение

После того, как вы подтвердили, что оркестрация dbt Cloud и CI/CD работают как ожидалось, вы должны приостановить ваш текущий инструмент оркестрации и остановить или обновить ваш текущий процесс CI/CD. Это не актуально, если вы все еще используете внешний оркестратор (например, Airflow), и вы заменили выполнение dbt-core на выполнение dbt Cloud (через API).

Познакомьте вашу команду с функциями dbt Cloud и оптимизируйте процессы разработки и развертывания. Некоторые ключевые функции, которые стоит рассмотреть, включают:

• Треки релизов: Выберите трек релизов для автоматических обновлений версии dbt с частотой, подходящей для вашей команды, устраняя необходимость в ручных обновлениях и риск несоответствий версий. Вы также можете получить ранний доступ к новой функциональности, опережая dbt Core.
• Инструменты разработки: Используйте dbt Cloud CLI или dbt Cloud IDE для создания, тестирования, запуска и контроля версий ваших проектов dbt.
• Документация и свежесть источников: Автоматизируйте хранение документации и отслеживайте свежесть источников в dbt Cloud, что упрощает обслуживание проектов.
• Уведомления и логи: Получайте мгновенные уведомления о сбоях заданий с прямыми ссылками на детали задания. Доступ к полным логам всех запусков заданий для помощи в устранении неполадок.
• CI/CD: Используйте функцию CI/CD dbt Cloud для запуска ваших проектов dbt во временной схеме, когда новые коммиты отправляются в открытые запросы на слияние. Это помогает поймать ошибки до развертывания в производстве.

После вашего перехода

Теперь, когда вы выбрали dbt Cloud в качестве вашей платформы, вы разблокировали возможности упрощения сотрудничества, повышения эффективности рабочих процессов и использования мощных функций для команд аналитической инженерии. Вот некоторые дополнительные функции, которые вы можете использовать, чтобы полностью раскрыть потенциал dbt Cloud:

• Аудит логов: Используйте аудит логи для просмотра действий, выполненных людьми в вашей организации. Аудит логи содержат аудируемые события пользователей и системы в реальном времени. Вы даже можете экспортировать всю активность (за пределами 90 дней, которые вы можете просмотреть в dbt Cloud). enterprise
• API dbt Cloud: Используйте надежные API dbt Cloud для создания, чтения, обновления и удаления (CRUD) проектов/заданий/сред проекта. Административный API dbt Cloud и провайдер Terraform облегчают программный доступ и хранение конфигурации. В то время как API Discovery предлагает обширные возможности запросов метаданных, такие как данные заданий, конфигурации моделей, использование и общее состояние проекта. teamenterprise
• dbt Explorer: Используйте dbt Explorer для просмотра ресурсов вашего проекта (таких как модели, тесты и метрики) и их родословной, чтобы лучше понять его текущее состояние в производстве. (Как только у вас будет успешное задание в производственной среде). teamenterprise
• Семантический слой dbt: Семантический слой dbt позволяет вам определять универсальные метрики поверх ваших моделей, которые затем могут быть запрошены в вашем инструменте бизнес-аналитики (BI). Это означает, что больше не будет несогласованных метрик — теперь есть централизованный способ определения этих метрик и создания видимости на каждом этапе потока данных. teamenterprise
• dbt Mesh: Используйте dbt Mesh для обмена моделями данных между организациями, позволяя командам данных сотрудничать над общими моделями данных и использовать работу других команд. enterprise

Дополнительная помощь

• Курсы dbt Learn: Доступ к нашим бесплатным видеокурсам Learn dbt Cloud для обучения по требованию.
• Сообщество dbt: Присоединяйтесь к сообществу dbt, чтобы общаться с другими пользователями dbt, задавать вопросы и делиться лучшими практиками.
• Команда поддержки dbt: Наша команда поддержки dbt всегда готова помочь вам с устранением проблем dbt Cloud. Создайте заявку на поддержку в dbt Cloud, и мы будем рады помочь!
• Управление учетной записью: У корпоративных учетных записей есть команда управления учетной записью, доступная для помощи в устранении неполадок и управления учетной записью. Запишитесь на демонстрацию, чтобы узнать больше. enterprise

Резюме

Это руководство должно было дать вам представление и вооружить вас основой для перехода с dbt Core на dbt Cloud. В этом руководстве были рассмотрены следующие ключевые области:

• Соображения: Понимание основных шагов, необходимых для успешной миграции, включая оценку вашей текущей настройки и выявление ключевых соображений, уникальных для структуры вашей команды и потребностей в рабочих процессах.

• Планируйте ваш переход: Подчеркивание важности редизайна рабочих процессов, ролевых обязанностей и принятия новых процессов для использования совместной и эффективной среды dbt Cloud.

• Переход на dbt Cloud: Ссылка на руководство, которое описывает технические шаги, необходимые для перехода вашего проекта dbt Core на dbt Cloud, включая настройку вашей учетной записи, платформы данных и репозитория Git.

• Тестирование и проверка: Подчеркивание технических переходов, включая тестирование и проверку ваших проектов dbt в экосистеме dbt Cloud для обеспечения целостности данных и производительности.

• Переход и обучение: Поделитесь полезной информацией о переходе, обучении и адаптации для вашей команды. Полностью используйте возможности dbt Cloud, от инструментов разработки (dbt Cloud CLI и dbt Cloud IDE) до расширенных функций, таких как dbt Explorer, Семантический слой и dbt Mesh.

Что дальше?

Поздравляем с завершением этого руководства, мы надеемся, что оно дало вам представление о соображениях, которые вам нужно учесть, чтобы лучше спланировать ваш переход на dbt Cloud.

Для следующих шагов вы можете продолжить изучение нашей серии из трех частей о переходе с dbt Core на dbt Cloud:

Руководство	Информация	Аудитория
Переход с dbt Core на dbt Cloud: Что нужно знать	Поймите, какие аспекты и методы нужно учитывать при переходе с dbt Core на dbt Cloud.	Руководители команд Администраторы
Переход с dbt Core на dbt Cloud: Начало работы	Узнайте, какие шаги необходимы для перехода с dbt Core на dbt Cloud.	Разработчики Инженеры данных Аналитики данных
Переход с dbt Core на dbt Cloud: Советы по оптимизации	Узнайте, как оптимизировать работу с dbt Cloud с помощью распространенных сценариев и полезных советов.	Все

Почему стоит перейти на dbt Cloud?

Если ваша команда сегодня использует dbt Core, вы можете читать это руководство по следующим причинам:

• Вы осознали, насколько сложно поддерживать это развертывание.
• Человек, который его настроил, уже ушел.
• Вы заинтересованы в том, что dbt Cloud может предложить для лучшего управления сложностью вашего развертывания dbt, демократизации доступа для большего числа участников или улучшения практик безопасности и управления.

Переход с dbt Core на dbt Cloud упрощает рабочие процессы, предоставляя полностью управляемую среду, которая улучшает сотрудничество, безопасность и оркестрацию. С dbt Cloud вы получаете доступ к таким функциям, как межкомандное сотрудничество (dbt Mesh), управление версиями, упрощенный CI/CD, dbt Explorer для получения всесторонних инсайтов и многое другое — что облегчает управление сложными развертываниями dbt и эффективное масштабирование ваших рабочих процессов с данными.

Это идеальный выбор для команд, стремящихся снизить нагрузку на поддержку собственной инфраструктуры, одновременно улучшая управление и продуктивность.

Связанный контент

• Курсы Learn dbt Cloud
• Запишитесь на демонстрации с экспертами и получите инсайты
• Работайте с командой профессиональных услуг dbt Labs, чтобы поддержать вашу организацию данных и миграцию.
• Как dbt Cloud сравнивается с dbt Core для детального сравнения dbt Core и dbt Cloud.
• Подпишитесь на RSS-уведомления dbt Cloud