Перейти к основному содержимому

Что такое dbt?

dbt преобразует необработанные данные хранилища в надежные продукты данных. Вы пишете простые SQL-запросы select, а dbt берет на себя основную работу: создает модульные, удобные в сопровождении модели данных для аналитики, операционных процессов и ИИ, избавляя от необходимости писать сложный и хрупкий код преобразования данных.

dbt — отраслевой стандарт для трансформации данных, который помогает командам работать быстрее и получать данные более высокого качества. По мере разработки в dbt ваш проект формирует структурированный контекст — происхождение и зависимости данных, тесты, контракты, метрики и правила управления — который объясняет, как связаны ваши данные, что они означают и на что могут повлиять изменения.

Этот контекст делает dbt особенно эффективным для работы с ИИ и используется в таких возможностях, как dbt Wizard, которые помогают исследовать, разрабатывать, проверять и выпускать изменения с полным контекстом проекта и включёнными по умолчанию механизмами управления.

Вы можете использовать dbt и его фреймворк, чтобы:

  • Централизовать аналитический код и разбить его на модули, а также обеспечить команду по работе с данными защитными механизмами, обычно используемыми в процессах разработки программного обеспечения.
  • Совместно работать над моделями данных, чтобы безопасно развёртывать трансформации данных в промышленной среде и отслеживать их работу.
  • Применять лучшие практики разработки программного обеспечения, такие как контроль версий, тестирование, модульность, CI/CD и документирование, в аналитических процессах.
  • Создавать идемпотентные трансформации, которые можно безопасно запускать повторно и получать согласованные результаты. Подробнее см. в разделе Идемпотентность в dbt.

При поддержке сообщества, насчитывающего более 100 000 участников, dbt помогает командам быстрее создавать высококачественные и надёжные конвейеры обработки данных.

dbt работает совместно с вашими инструментами загрузки, визуализации данных и другими инструментами для работы с данными, позволяя преобразовывать данные непосредственно в вашей облачной платформе данных.dbt работает совместно с вашими инструментами загрузки, визуализации данных и другими инструментами для работы с данными, позволяя преобразовывать данные непосредственно в вашей облачной платформе данных.

Узнайте больше о том, почему мы хотим, чтобы аналитики работали больше как инженеры-программисты, в The dbt Viewpoint. Узнайте, как другие специалисты по данным по всему миру используют dbt, присоединившись к сообществу dbt.

Фреймворк dbt​

Используйте фреймворк dbt, чтобы быстро и совместно преобразовывать данные и развертывать аналитический код, следуя лучшим практикам разработки программного обеспечения: контролю версий, модульности, переносимости, CI/CD и документированию. Это означает, что любой участник команды по работе с данными, знакомый с SQL, может безопасно вносить изменения в конвейеры данных промышленного уровня.

Фреймворк dbt состоит из языка и движка:

  • Язык dbt — это код, который вы пишете в своем проекте dbt: SQL-запросы select, шаблоны Jinja, конфигурации YAML, тесты и многое другое. Это стандарт в индустрии данных и основа фреймворка dbt.

  • Движок dbt компилирует ваш проект, выполняет граф преобразований и создает метаданные. На сегодняшний день актуальное поколение версий на базе Rust — v2. По умолчанию установка dbt предоставляет возможности анализа SQL, функции редактора и расширенные рабочие процессы разработки.

Версии dbt​

У dbt две основные версии: v1 и v2.

v2 — текущее поколение dbt, которое используется по умолчанию при установке. При установке dbt вы получаете расширенные инструменты разработки, линтинг и многое другое. Подробнее см. в руководстве по переходу на v2.

ВерсияОписание
v2
Рекомендуется
Текущее поколение dbt на базе Rust, созданное для полноценной современной разработки и использующее среду выполнения с открытым исходным кодом.

Многие функции работают сразу после установки. Некоторые возможности платформы dbt доступны после бесплатного входа в систему — полный обзор см. в разделе Доступность функций v2 или перейдите на v2.
v1Первое поколение dbt на базе Python, которое по-прежнему поддерживается как dbt v1.

Дополнительную информацию см. в ответах на часто задаваемые вопросы о лицензировании.

Движок dbt​

Текущее поколение dbt написано на Rust и изначально поддерживает анализ SQL на различных диалектах движков. Это позволяет dbt выявлять ошибки до того, как они попадут в ваше хранилище данных, и обеспечивает такие возможности редактора, как автодополнение и отображение ошибок прямо в коде по мере ввода.

При установке dbt по умолчанию используется v2. Эта версия опирается на среду выполнения фреймворка dbt с интерфейсом командной строки (CLI) и открытым исходным кодом под лицензией Apache 2.0. dbt можно использовать бесплатно, а некоторые возможности на базе платформы dbt становятся доступны при входе с любой учетной записью dbt platform.

Улучшите рабочие процессы разработки​

Разработчикам dbt позволяет:

  • Мгновенно выявлять некорректный SQL в моделях dbt, еще до их выполнения в хранилище данных
  • Пользоваться автодополнением, подсказками при наведении и отображением ошибок прямо в коде по мере ввода
  • Просматривать результаты CTE прямо в редакторе для ускорения отладки
  • Отслеживать определения моделей и столбцов по всему проекту

Все это доступно бесплатно в расширении dbt для VS Code, созданном для раскрытия возможностей v2, но также доступном и в v1.

Как использовать dbt​

Вы можете использовать dbt разными способами в зависимости от ваших потребностей:

Платформа dbt​

dbt platform — самый быстрый способ начать работать с dbt: планирование запусков, CI/CD, размещение документации, мониторинг и оповещения собраны в одном месте. Платформа работает как с v1, так и с v2 на всех тарифах — от Developer (бесплатного) до Enterprise+.

Разрабатывайте непосредственно на платформе с помощью Studio IDE или подключайтесь с локального компьютера через расширение dbt для VS Code или dbt platform CLI.

Узнайте больше о возможностях платформы dbt, изучите тарифы и цены или попробуйте руководство по быстрому старту.

Локальная разработка с dbt​

Установите dbt, чтобы запускать v2 локально из командной строки на базе среды выполнения с открытым исходным кодом.

Для наиболее удобной разработки рекомендуем использовать v2 вместе с расширением dbt для VS Code, которое обеспечивает автодополнение, отображение ошибок прямо в коде и просмотр связей между данными во время работы. Вы также можете выполнить dbt login, чтобы получить доступ к возможностям на базе платформы dbt и создать бесплатную учетную запись dbt platform.

Чтобы быстро начать работу, воспользуйтесь руководством по быстрому старту с dbt.

Другие способы запуска dbt в собственной инфраструктуре:

  • dbt v1: исходный CLI на Python.
  • dbt OSS: бесплатный дистрибутив нового движка dbt на Rust с полностью открытым исходным кодом (Apache 2.0). Обычно предназначен для организаций со строгими требованиями к использованию именно этой среды выполнения с открытым исходным кодом.

Чтобы внести вклад в проект с открытым исходным кодом, обратитесь к репозиторию на GitHub.

Зачем использовать dbt​

При работе с dbt вы в основном сосредоточитесь на написании моделей (запросов select), отражающих ключевую бизнес-логику, — вам не придется писать шаблонный код для создания таблиц и представлений или определять порядок выполнения моделей. Вместо этого dbt сам преобразует эти модели в объекты вашего хранилища данных.

  • Без шаблонного кода: описывайте бизнес-логику с помощью одного SQL-выражения select или DataFrame на Python. dbt берет на себя материализация, транзакции, DDL и изменения схемы.
  • Модульность и повторное использование: создавайте модели данных, на которые можно ссылаться в дальнейшей работе. Измените модель один раз, и изменение распространится на все зависящие от нее модели, позволяя публиковать единую эталонную бизнес-логику без повторной реализации.
  • Быстрые сборки: используйте инкрементальные модели и метаданные для оптимизации моделей с длительным временем выполнения.
  • Тестирование и документация — Пишите тесты качества данных для исходных данных и автоматически создавайте документацию вместе с кодом.
  • Практики разработки ПО: контроль версий, ветвление, пул-реквесты, CI/CD и управление пакетами для ваших конвейеров данных. Пишите код, лучше соответствующий принципу DRY, с помощью макросов и хуков.
  • Разработка с помощью ИИ: используйте dbt Wizard, чтобы исследовать, создавать, проверять и выпускать решения с помощью естественного языка. dbt Wizard опирается на полный контекст вашего проекта, проверяет результаты своей работы с учетом связей между данными и тестов, а также по умолчанию включает средства управления и журналы аудита.

Нашли ошибку?

0
Loading