Перейти к основному содержимому

Контрольный список настройки платформы dbt

Итак, вы создали новый облачный аккаунт dbt platform и готовы начать знакомство с его быстрыми и интуитивно понятными возможностями. Добро пожаловать! Прежде чем приступить к работе, давайте убедимся, что ваш аккаунт настроен корректно — это позволит без проблем подключать новых пользователей и использовать все интеграции, которые предлагает dbt.

Для большинства организаций на этом этапе потребуется взаимодействие с IT‑специалистами и/или командой безопасности. В зависимости от используемых возможностей, вам может понадобиться помощь следующих административных ролей:

  • Хранилище данных (Snowflake, BigQuery, Databricks и т.д.)
  • Управление доступом (Okta, Entra ID, Google, SAML 2.0)
  • Git (GitHub, GitLab, Azure DevOps и т.д.)

Этот чек-лист поможет убедиться, что всё настроено правильно, чтобы вы могли быстро начать работу и избежать узких мест.

Хранилище данных​

Платформа dbt поддерживает глобальные подключения к вашим хранилищам данных. Это означает, что одно настроенное подключение можно использовать в нескольких проектах и средах. Платформа dbt поддерживает подключения к различным хранилищам данных, включая BigQuery, Databricks, Redshift и Snowflake, но не ограничиваясь ими. Один из первых шагов при настройке аккаунта — убедиться, что у вас есть работающее подключение:

  • Используйте документацию по настройке подключений, чтобы настроить подключение к выбранному хранилищу данных.
  • Убедитесь, что разработчикам dbt назначены необходимые роли и предоставлен доступ к вашим хранилищам данных.
  • Убедитесь, что в хранилище есть реальные данные, к которым можно обращаться. Это могут быть данные из производственной среды или среды разработки. При желании вы можете использовать наш учебный проект электронной коммерции The Jaffle Shop. The Jaffle Shop включает тестовые данные и готовые к запуску модели!
  • Независимо от того, создаёте ли вы новый проект или импортируете существующий проект dbt v1, убедитесь, что у него правильно настроена структура.
    • Если вы переходите с dbt v1, вам необходимо учесть несколько важных моментов, поэтому ознакомьтесь с нашим руководством по миграции.
  • Вашим пользователям потребуется настроить свои учётные данные для подключения к среде разработки в dbt Studio IDE.
    • Убедитесь, что всем пользователям, которым нужен доступ для работы в IDE, в вашем аккаунте назначена лицензия разработчика.
  • Модели dbt в основном пишутся в виде инструкций SELECT, поэтому один из первых шагов для проверки успешности настройки — попросить разработчика выполнить простую инструкцию SELECT в IDE и проверить результаты.
    • Вы также можете проверить подключение, выполнив простые SQL-запросы с помощью dbt Insights.
  • Создайте одну модель и убедитесь, что можете успешно запустить её.
  • Создайте служебную учётную запись с необходимыми правами доступа для ваших заданий в производственной среде.

Настройка Git​

Git является основой большинства dbt‑окружений. Именно в Git‑репозиториях хранятся файлы dbt‑проекта, и именно там разработчики совместно работают над кодом и управляют версиями.

Окружения и job-ы​

Environments позволяют разделять данные разработки и продакшена. dbt поддерживает два типа окружений: Development и Deployment. Существует три типа Deployment‑окружений:

  • Production — одно на проект
  • Staging — одно на проект
  • General — несколько на проект

Кроме того, в каждом проекте может быть только одно Development‑окружение, но у каждого разработчика будет собственный изолированный доступ к IDE, независимый от работы других разработчиков.

Jobs определяют, какие команды выполняются в окружениях. Они могут запускаться вручную, по расписанию, другими job‑ами, через API или при создании либо слиянии pull request.

После подключения хранилища данных и завершения интеграции с Git можно переходить к настройке окружений и job‑ов:

Пользовательский доступ​

dbt platform предоставляет широкий набор инструментов управления доступом, которые позволяют предоставлять и отзывать доступ пользователей, настраивать RBAC, а также назначать лицензии и разрешения.

Продолжайте​

После завершения этого чек-листа вы будете готовы начать работу с dbt platform, но на этом путь только начинается. Ознакомьтесь с дополнительными ресурсами, которые помогут вам дальше:

  • Изучите guides — это быстрые руководства по началу работы с проектами и возможностями.
  • Пройдите практический курс dbt Learn.
  • Ознакомьтесь с нашими best practices, где собраны практические рекомендации по структуре и деплою dbt‑проектов.
  • Разберитесь с references — это своего рода словарь продукта с подробными примерами реализации.

Нашли ошибку?

0
Loading