Контрольный список настройки платформы dbt
Итак, вы создали новый облачный аккаунт dbt platform и готовы начать знакомство с его быстрыми и интуитивно понятными возможностями. Добро пожаловать! Прежде чем приступить к работе, давайте убедимся, что ваш аккаунт настроен корректно — это позволит без проблем подключать новых пользователей и использовать все интеграции, которые предлагает dbt.
Для большинства организаций на этом этапе потребуется взаимодействие с IT‑специалистами и/или командой безопасности. В зависимости от используемых возможностей, вам может понадобиться помощь следующих административных ролей:
- Хранилище данных (Snowflake, BigQuery, Databricks и т.д.)
- Управление доступом (Okta, Entra ID, Google, SAML 2.0)
- Git (GitHub, GitLab, Azure DevOps и т.д.)
Этот чек-лист поможет убедиться, что всё настроено правильно, чтобы вы могли быстро начать работу и избежать узких мест.
Хранилище данных
Платформа dbt поддерживает глобальные подключения к вашим хранилищам данных. Это означает, что одно настроенное подключение можно использовать в нескольких проектах и средах. Платформа dbt поддерживает подключения к различным хранилищам данных, включая BigQuery, Databricks, Redshift и Snowflake, но не ограничиваясь ими. Один из первых шагов при настройке аккаунта — убедиться, что у вас есть работающее подключение:
- Используйте документацию по настройке подключений, чтобы настроить подключение к выбранному хранилищу данных.
- Убедитесь, что разработчикам dbt назначены необходимые роли и предоставлен доступ к вашим хранилищам данных.
- Убедитесь, что в хранилище есть реальные данные, к которым можно обращаться. Это могут быть данные из производственной среды или среды разработки. При желании вы можете использовать наш учебный проект электронной коммерции The Jaffle Shop. The Jaffle Shop включает тестовые данные и готовые к запуску модели!
- Независимо от того, создаёте ли вы новый проект или импортируете существующий проект dbt v1, убедитесь, что у него правильно настроена структура.
- Если вы переходите с dbt v1, вам необходимо учесть несколько важных моментов, поэтому ознакомьтесь с нашим руководством по миграции.
- Вашим пользователям потребуется настроить свои учётные данные для подключения к среде разработки в dbt Studio IDE.
- Убедитесь, что всем пользователям, которым нужен доступ для работы в IDE, в вашем аккаунте назначена лицензия разработчика.
- Модели dbt в основном пишутся в виде инструкций SELECT, поэтому один из первых шагов для проверки успешности настройки — попросить разработчика выполнить простую инструкцию SELECT в IDE и проверить результаты.
- Вы также можете проверить подключение, выполнив простые SQL-запросы с помощью dbt Insights.
- Создайте одну модель и убедитесь, что можете успешно запустить её.
- Создайте служебную учётную запись с необходимыми правами доступа для ваших заданий в производственной среде.
Настройка Git
Git является основой большинства dbt‑окружений. Именно в Git‑репозиториях хранятся файлы dbt‑проекта, и именно там разработчики совместно работают над кодом и управляют версиями.
- Настройте Git-репозиторий для вашей учетной записи. dbt поддерживает интеграции с:
- GitHub
- GitLab
- Azure DevOps
- Другими провайдерами через Git clone
- Если вы пока не готовы интегрироваться с существующим Git-решением, dbt может предоставить вам управляемый Git-репозиторий.
- Убедитесь, что разработчики могут создать новую ветку и переключиться на нее в вашем репозитории.
- Убедитесь, что разработчики могут фиксировать изменения в IDE.
Окружения и job-ы
Environments позволяют разделять данные разработки и продакшена. dbt поддерживает два типа окружений: Development и Deployment. Существует три типа Deployment‑окружений:
- Production — одно на проект
- Staging — одно на проект
- General — несколько на проект
Кроме того, в каждом проекте может быть только одно Development‑окружение, но у каждого разработчика будет собственный изолированный доступ к IDE, независимый от работы других разработчиков.
Jobs определяют, какие команды выполняются в окружениях. Они могут запускаться вручную, по расписанию, другими job‑ами, через API или при создании либо слиянии pull request.
После подключения хранилища данных и завершения интеграции с Git можно переходить к настройке окружений и job‑ов:
- Начните с создания новой среды разработки для вашего проекта.
- Создайте среду развертывания Production.
- (Необязательно) Создайте дополнительную среду Staging или General.
- Создайте задание развертывания и настройте его расписание.
- Проверьте работу задания, сначала запустив его вручную.
- При необходимости настройте разные базы данных для ваших сред.
Пользовательский доступ
dbt platform предоставляет широкий набор инструментов управления доступом, которые позволяют предоставлять и отзывать доступ пользователей, настраивать RBAC, а также назначать лицензии и разрешения.
- Вручную пригласите пользователей на платформу dbt, где они смогут проходить аутентификацию с помощью MFA (SMS или приложения-аутентификатора).
- Настройте единый вход (SSO) или OAuth для расширенного управления доступом. Только для аккаунтов EnterpriseEnterprise +.
- Создайте сопоставления SSO для групп
- Настройте System for Cross-Domain Identity Management (SCIM), если ваш поставщик удостоверений (IdP) поддерживает этот протокол.
- Убедитесь, что приглашённые пользователи могут подключаться к хранилищу данных из своего личного профиля.
- Создайте группы и назначьте им наборы разрешений с детальной настройкой.
- Создайте правила RBAC, чтобы при входе пользователей в систему назначать им группы и наборы разрешений. Только для аккаунтов EnterpriseEnterprise +.
- Сделайте SSO обязательным для всех пользователей без прав администратора и обеспечьте обязательное использование MFA при каждом входе по паролю.
Продолжайте
После завершения этого чек-листа вы будете готовы начать работу с dbt platform, но на этом путь только начинается. Ознакомьтесь с дополнительными ресурсами, которые помогут вам дальше:
- Изучите guides — это быстрые руководства по началу работы с проектами и возможностями.
- Пройдите практический курс dbt Learn.
- Ознакомьтесь с нашими best practices, где собраны практические рекомендации по структуре и деплою dbt‑проектов.
- Разберитесь с references — это своего рода словарь продукта с подробными примерами реализации.