Что такое dbt?
dbt — отраслевой стандарт для трансформации данных, который помогает командам работать быстрее и получать данные более высокого качества. По мере разработки в dbt ваш проект формирует структурированный контекст — происхождение и зависимости данных, тесты, контракты, метрики и правила управления — который объясняет, как связаны ваши данные, что они означают и на что могут повлиять изменения.
Этот контекст делает dbt особенно эффективным для работы с ИИ и используется в таких возможностях, как dbt Wizard, которые помогают исследовать, разрабатывать, проверять и выпускать изменения с полным контекстом проекта и включёнными по умолчанию механизмами управления.
Вы можете использовать dbt и его фреймворк, чтобы:
- Централизовать аналитический код и разбить его на модули, а также обеспечить команду по работе с данными защитными механизмами, обычно используемыми в процессах разработки программного обеспечения.
- Совместно работать над моделями данных, чтобы безопасно развёртывать трансформации данных в промышленной среде и отслеживать их работу.
- Применять лучшие практики разработки программного обеспечения, такие как контроль версий, тестирование, модульность, CI/CD и документирование, в аналитических процессах.
- Создавать идемпотентные трансформации, которые можно безопасно запускать повторно и получать согласованные результаты. Подробнее см. в разделе Идемпотентность в dbt.
При поддержке сообщества, насчитывающего более 100 000 участников, dbt помогает командам быстрее создавать высококачественные и надёжные конвейеры обработки данных.
dbt работает совместно с вашими инструментами загрузки, визуализации данных и другими инструментами для работы с данными, позволяя преобразовывать данные непосредственно в вашей облачной платформе данных.Узнайте больше о том, почему мы хотим, чтобы аналитики работали больше как инженеры-программисты, в The dbt Viewpoint. Узнайте, как другие специалисты по данным по всему миру используют dbt, присоединившись к сообществу dbt.
Фреймворк dbt
Используйте фреймворк dbt, чтобы быстро и совместно преобразовывать данные и развертывать аналитический код, следуя лучшим практикам разработки программного обеспечения: контролю версий, модульности, переносимости, CI/CD и документированию. Это означает, что любой участник команды по работе с данными, знакомый с SQL, может безопасно вносить изменения в конвейеры данных промышленного уровня.
Фреймворк dbt состоит из языка и движка:
-
Язык dbt — это код, который вы пишете в своем проекте dbt: SQL-запросы select, шаблоны Jinja, конфигурации YAML, тесты и многое другое. Это стандарт в индустрии данных и основа фреймворка dbt.
-
Движок dbt компилирует ваш проект, выполняет граф преобразований и создает метаданные. На сегодняшний день актуальное поколение версий на базе Rust — v2. По умолчанию установка dbt предоставляет возможности анализа SQL, функции редактора и расширенные рабочие процессы разработки.
Версии dbt
У dbt две основные версии: v1 и v2.
v2 — текущее поколение dbt, которое используется по умолчанию при установке. При установке dbt вы получаете расширенные инструменты разработки, линтинг и многое другое. Подробнее см. в руководстве по переходу на v2.
| Версия | Описание |
|---|---|
| v2 Рекомендуется | Текущее поколение dbt на базе Rust, созданное для полноценной современной разработки и использующее среду выполнения с открытым исходным кодом. Многие функции работают сразу после установки. Некоторые возможности платформы dbt доступны после бесплатного входа в систему — полный обзор см. в разделе Доступность функций v2 или перейдите на v2. |
| v1 | Первое поколение dbt на базе Python, которое по-прежнему поддерживается как dbt v1. |
Дополнительную информацию см. в ответах на часто задаваемые вопросы о лицензировании.
Движок dbt
Текущее поколение dbt написано на Rust и изначально поддерживает анализ SQL на различных диалектах движков. Это позволяет dbt выявлять ошибки до того, как они попадут в ваше хранилище данных, и обеспечивает такие возможности редактора, как автодополнение и отображение ошибок прямо в коде по мере ввода.
При установке dbt по умолчанию используется v2. Эта версия опирается на среду выполнения фреймворка dbt с интерфейсом командной строки (CLI) и открытым исходным кодом под лицензией Apache 2.0. dbt можно использовать бесплатно, а некоторые возможности на базе платформы dbt становятся доступны при входе с любой учетной записью dbt platform.
Улучшите рабочие процессы разработки
Разработчикам dbt позволяет:
- Мгновенно выявлять некорректный SQL в моделях dbt, еще до их выполнения в хранилище данных
- Пользоваться автодополнением, подсказками при наведении и отображением ошибок прямо в коде по мере ввода
- Просматривать результаты CTE прямо в редакторе для ускорения отладки
- Отслеживать определения моделей и столбцов по всему проекту
Все это доступно бесплатно в расширении dbt для VS Code, созданном для раскрытия возможностей v2, но также доступном и в v1.
Как использовать dbt
Вы можете использовать dbt разными способами в зависимости от ваших потребностей:
- На платформе dbt platform (рекомендуется большинству пользователей)
- Локально из командной строки или редактора кода
Платформа dbt
dbt platform — самый быстрый способ начать работать с dbt: планирование запусков, CI/CD, размещение документации, мониторинг и оповещения собраны в одном месте. Платформа работает как с v1, так и с v2 на всех тарифах — от Developer (бесплатного) до Enterprise+.
Разрабатывайте непосредственно на платформе с помощью Studio IDE или подключайтесь с локального компьютера через расширение dbt для VS Code или dbt platform CLI.
Узнайте больше о возможностях платформы dbt, изучите тарифы и цены или попробуйте руководство по быстрому старту.
Локальная разработка с dbt
Установите dbt, чтобы запускать v2 локально из командной строки на базе среды выполнения с открытым исходным кодом.
Для наиболее удобной разработки рекомендуем использовать v2 вместе с расширением dbt для VS Code, которое обеспечивает автодополнение, отображение ошибок прямо в коде и просмотр связей между данными во время работы. Вы также можете выполнить dbt login, чтобы получить доступ к возможностям на базе платформы dbt и создать бесплатную учетную запись dbt platform.
Чтобы быстро начать работу, воспользуйтесь руководством по быстрому старту с dbt.
Другие способы запуска dbt в собственной инфраструктуре:
- dbt v1: исходный CLI на Python.
- dbt OSS: бесплатный дистрибутив нового движка dbt на Rust с полностью открытым исходным кодом (Apache 2.0). Обычно предназначен для организаций со строгими требованиями к использованию именно этой среды выполнения с открытым исходным кодом.
Чтобы внести вклад в проект с открытым исходным кодом, обратитесь к репозиторию на GitHub.
Зачем использовать dbt
При работе с dbt вы в основном сосредоточитесь на написании моделей (запросов select), отражающих ключевую бизнес-логику, — вам не придется писать шаблонный код для создания таблиц и представлений или определять порядок выполнения моделей. Вместо этого dbt сам преобразует эти модели в объекты вашего хранилища данных.
- Без шаблонного кода: описывайте бизнес-логику с помощью одного SQL-выражения
selectили DataFrame на Python. dbt берет на себя материализация, транзакции, DDL и изменения схемы. - Модульность и повторное использование: создавайте модели данных, на которые можно ссылаться в дальнейшей работе. Измените модель один раз, и изменение распространится на все зависящие от нее модели, позволяя публиковать единую эталонную бизнес-логику без повторной реализации.
- Быстрые сборки: используйте инкрементальные модели и метаданные для оптимизации моделей с длительным временем выполнения.
- Тестирование и документация — Пишите тесты качества данных для исходных данных и автоматически создавайте документацию вместе с кодом.
- Практики разработки ПО: контроль версий, ветвление, пул-реквесты, CI/CD и управление пакетами для ваших конвейеров данных. Пишите код, лучше соответствующий принципу DRY, с помощью макросов и хуков.
- Разработка с помощью ИИ: используйте dbt Wizard, чтобы исследовать, создавать, проверять и выпускать решения с помощью естественного языка. dbt Wizard опирается на полный контекст вашего проекта, проверяет результаты своей работы с учетом связей между данными и тестов, а также по умолчанию включает средства управления и журналы аудита.
Связанные документы
- Краткие руководства по началу работы с dbt
- Руководства по лучшим практикам
- Что такое проект dbt?
- Матрица поддерживаемых функций
- ИИ и агенты
- Лицензирование
- Лицензионное соглашение v2