Чеклист конфигурации dbt platform StarterEnterpriseEnterprise +
Итак, вы создали новый облачный аккаунт dbt platform и готовы начать знакомство с его быстрыми и интуитивно понятными возможностями. Добро пожаловать! Прежде чем приступить к работе, давайте убедимся, что ваш аккаунт настроен корректно — это позволит без проблем подключать новых пользователей и использовать все интеграции, которые предлагает dbt.
Для большинства организаций на этом этапе потребуется взаимодействие с IT‑специалистами и/или командой безопасности. В зависимости от используемых возможностей, вам может понадобиться помощь следующих административных ролей:
- Хранилище данных (Snowflake, BigQuery, Databricks и т.д.)
- Управление доступом (Okta, Entra ID, Google, SAML 2.0)
- Git (GitHub, GitLab, Azure DevOps и т.д.)
Этот чек-лист поможет убедиться, что всё настроено правильно, чтобы вы могли быстро начать работу и избежать узких мест.
Хранилище данных
dbt platform поддерживает глобальные подключения к хранилищам данных. Это означает, что одно настроенное подключение может использоваться в нескольких проектах и окружениях. dbt platform поддерживает несколько подключений к хранилищам данных, включая (но не ограничиваясь) BigQuery, Databricks, Redshift и Snowflake. Один из самых ранних шагов настройки аккаунта — убедиться, что подключение к хранилищу данных работает корректно:
- Используйте документацию по настройке подключений, чтобы сконфигурировать выбранное хранилище данных.
- Убедитесь, что dbt‑разработчики имеют необходимые роли и доступы в вашем хранилище данных.
- Проверьте, что в хранилище есть реальные данные, к которым можно обращаться. Это могут быть как продакшн‑, так и девелопмент‑данные. При желании вы можете использовать наш песочничный e‑commerce‑проект The Jaffle Shop, который включает тестовые данные и готовые к запуску модели.
- Независимо от того, начинаете ли вы новый проект или импортируете существующий dbt Core проект, убедитесь, что у вас настроена корректная структура проекта.
- Если вы мигрируете с Core, есть несколько важных моментов, о которых стоит знать — ознакомьтесь с нашим руководством по миграции.
- Пользователям необходимо настроить свои учетные данные для подключения к dev‑окружению в dbt Studio IDE.
- Убедитесь, что всем пользователям, которым нужен доступ к работе в IDE, в аккаунте назначена лицензия разработчика.
- Модели dbt в основном пишутся в виде SELECT‑запросов, поэтому одним из первых критериев успеха является выполнение простого select‑запроса в IDE и проверка результатов.
- Также можно проверить подключение, выполнив базовые SQL‑запросы с помощью dbt Insights.
- Создайте одну модель и убедитесь, что вы можете успешно запустить её.
- Для простого интерфейса с drag‑and‑drop попробуйте создать модель с помощью dbt Canvas.
- Создайте сервисный аккаунт с корректными правами доступа для ваших production jobs.
Настройка Git
Git является основой большинства dbt‑окружений. Именно в Git‑репозиториях хранятся файлы dbt‑проекта, и именно там разработчики совместно работают над кодом и управляют версиями.
- Настройте Git‑репозиторий для вашего аккаунта. dbt поддерживает интеграции с:
- GitHub
- GitLab
- Azure DevOps
- Другими провайдерами через Git clone
- Если вы пока не готовы интегрироваться с существующим Git‑решением, dbt может предоставить управляемый Git‑репозиторий.
- Убедитесь, что разработчики могут checkout новую ветку в репозитории.
- Убедитесь, что разработчики в IDE могут commit‑ить изменения.
Окружения и job-ы
Environments позволяют разделять данные разработки и продакшена. dbt поддерживает два типа окружений: Development и Deployment. Существует три типа Deployment‑окружений:
- Production — одно на проект
- Staging — одно на проект
- General — несколько на проект
Кроме того, в каждом проекте может быть только одно Development‑окружение, но у каждого разработчика будет собственный изолированный доступ к IDE, независимый от работы других разработчиков.
Jobs определяют, какие команды выполняются в окружениях. Они могут запускаться вручную, по расписанию, другими job‑ами, через API или при создании либо слиянии pull request.
После подключения хранилища данных и завершения интеграции с Git можно переходить к настройке окружений и job‑ов:
- Начните с создания нового Development environment для проекта.
- Создайте Production Deployment environment.
- (Опционально) Создайте дополнительное Staging или General окружение.
- Создайте и запланируйте deployment job.
- Для проверки сначала запустите job вручную.
- При необходимости настройте разные базы данных для разных окружений.
Пользовательский доступ
dbt platform предоставляет широкий набор инструментов управления доступом, которые позволяют предоставлять и отзывать доступ пользователей, настраивать RBAC, а также назначать лицензии и разрешения.
- Вручную пригласите пользователей в dbt platform — они смогут аутентифицироваться с использованием MFA (SMS или приложение‑аутентификатор).
- Настройте single sign‑on или OAuth для расширенного управления доступом. Только для аккаунтов EnterpriseEnterprise +.
- Создайте SSO mappings для групп.
- Настройте System for Cross-Domain Identity Management (SCIM), если он поддерживается вашим IdP.
- Убедитесь, что приглашенные пользователи могут подключаться к хранилищу данных из своего персонального профиля.
- Создайте группы с детально настроенными наборами разрешений.
- Создайте RBAC rules, чтобы автоматически назначать пользователей в группы и permission sets при входе в систему. Только для аккаунтов EnterpriseEnterprise +.
- Включите обязательное использование SSO для всех не‑администраторов и MFA для всех входов по паролю.
Продолжайте
После завершения этого чек-листа вы будете готовы начать работу с dbt platform, но на этом путь только начинается. Ознакомьтесь с дополнительными ресурсами, которые помогут вам дальше:
- Изучите guides — это быстрые руководства по началу работы с проектами и возможностями.
- Пройдите практический курс dbt Learn.
- Ознакомьтесь с нашими best practices, где собраны практические рекомендации по структуре и деплою dbt‑проектов.
- Разберитесь с references — это своего рода словарь продукта с подробными примерами реализации.
