Перейти к основному содержимому

Развертывание dbt

Используйте возможности dbt, чтобы без лишних усилий запускать dbt‑задачи в production или staging‑окружениях. Вместо ручного запуска команд dbt из командной строки вы можете воспользоваться встроенным планировщиком dbt, чтобы автоматизировать то, как и когда выполняется dbt.

dbt platform предоставляет самый простой и надёжный способ запускать ваш dbt‑проект в production. Вы можете без труда продвигать высококачественный код из разработки в production и создавать актуальные данные, к которым обращаются инструменты бизнес‑аналитики и конечные пользователи для принятия бизнес‑решений. Развёртывание с помощью dbt позволяет вам:

  • Поддерживать актуальность production‑данных на регулярной основе
  • Обеспечивать эффективность CI‑ и production‑пайплайнов
  • Быстро выявлять первопричины сбоев в окружениях развёртывания
  • Поддерживать высокое качество кода и данных в production
  • Получать прозрачность и обзор состояния заданий развёртывания, моделей и тестов
  • Использовать exports для записи saved queries в вашей платформе данных, обеспечивая надёжную и быструю отчётность по метрикам
  • Визуализировать и оркестрировать downstream‑exposures, чтобы понимать, как модели используются во внешних инструментах, и проактивно обновлять базовые источники данных во время запланированных dbt‑задач. EnterpriseEnterprise +
  • Использовать кэширование Git‑репозиториев dbt для защиты от сбоев сторонних сервисов и повышения надёжности выполнения заданий. EnterpriseEnterprise +
  • Использовать Hybrid projects для загрузки артефактов dbt в dbt platform с целью централизованной видимости, перекрёстных ссылок между проектами и более удобной совместной работы. Enterprise + Preview

Перед продолжением убедитесь, что вы понимаете подход dbt к средам развертывания.

Узнайте, как использовать возможности dbt, чтобы помочь вашей команде проще и быстрее поставлять в продакшен качественные данные.

Развертывание с помощью dbt​

Планировщик заданий

Планировщик заданий — это основа выполнения задач на платформе dbt. Он обеспечивает мощный и при этом простой способ построения дата‑пайплайнов как в средах непрерывной интеграции, так и в продуктивных окружениях.

Развертывание задач

Создавайте и планируйте задачи для выполнения планировщиком задач.

Запускается по расписанию, через API или после завершения другой задачи.

Оркестрация с учетом состояния

Интеллектуально определяет, какие модели нужно собирать, обнаруживая изменения в коде или данных при каждом запуске задания.

Непрерывная интеграция

Настройте CI-проверки, чтобы вы могли собирать и тестировать любой изменённый код в staging-окружении при открытии PR и отправке новых коммитов в ваш репозиторий dbt.

Непрерывное развертывание

Настройте задачи слияния, чтобы гарантировать, что последние изменения кода всегда находятся в производственной среде, когда запросы на слияние объединяются в ваш Git репозиторий.

Команды задач

Настройте, какие команды dbt выполнять при запуске dbt задачи.

Мониторинг задач и оповещений​

Визуализация и оркестрация exposures

Узнайте, как использовать dbt для автоматической генерации downstream exposures на основе дашбордов и проактивного обновления базовых источников данных во время запланированных запусков dbt.

Артефакты

dbt генерирует и сохраняет артефакты вашего проекта, которые используются для таких возможностей, как создание документации по проекту и отчетность о свежести источников данных.

Уведомления о задачах

Получайте уведомления по электронной почте или в канале Slack, когда выполнение задачи успешно, завершилось с ошибкой или отменено, чтобы вы могли быстро отреагировать и начать исправление, если необходимо.

Уведомления о моделях

Получайте уведомления по электронной почте в реальном времени о проблемах, с которыми сталкиваются ваши модели и тесты во время выполнения задачи.

Видимость запусков

Просматривайте историю запусков и дашборд времени выполнения моделей, чтобы понять, где можно внести улучшения в запланированные задания.

Повторный запуск заданий

Перезапускайте задания, завершившиеся с ошибкой, с самого начала или с момента сбоя.

Свежесть источников

Включите снимки для фиксации свежести ваших источников данных и настройте, как часто эти снимки должны делаться. Это может помочь вам определить, соответствует ли свежесть ваших исходных данных вашим SLA.

Вебхуки

Создавайте исходящие вебхуки для отправки событий о статусах ваших заданий dbt в другие системы вашей организации.

Связанные документы​

Гибридные проекты Enterprise Preview​

Гибридные проекты

Используйте гибридные проекты, чтобы загружать артефакты dbt Core в платформу dbt для централизованной видимости, перекрёстных ссылок между проектами и более удобной совместной работы.

Связанные материалы​

Нашли ошибку?

0