Перейти к основному содержимому

О моделях dbt

dbt при самостоятельном развертывании и dbt в облаке состоят из разных компонентов, которые слаженно работают вместе. Все они важны для основной задачи dbt — преобразования данных, то есть этапа «T» в ELT. Выполняя dbt run, вы запускаете модель, которая преобразует ваши данные, при этом сами данные не покидают ваше хранилище.

Модели — это то место, где ваши разработчики проводят большую часть своего времени в среде dbt. Модели в основном пишутся в виде оператора select и сохраняются как файл .sql. Хотя определение простое, сложность выполнения будет варьироваться в зависимости от среды. Модели будут писаться и переписываться по мере изменения потребностей и поиска вашей организацией новых способов максимизации эффективности.

SQL — это язык, который использует большинство пользователей dbt, но не единственный, на котором можно создавать модели. Начиная с версии 1.3, dbt v1 и dbt поддерживают модели на Python. Модели на Python полезны для обучения или развертывания моделей машинного обучения, выполнения сложных преобразований или в случаях, когда определенный пакет Python решает конкретную задачу — например, библиотека dateutil позволяет разбирать даты.

Модели и современные рабочие процессы​

Верхний уровень рабочего процесса dbt — это проект. Проект — это директория с файлом .yml (конфигурация проекта) и файлами .sql или .py (модели). Файл проекта сообщает dbt контекст проекта, а модели позволяют dbt знать, как построить конкретный набор данных. Для получения более подробной информации о проектах обратитесь к О проектах dbt.

Вашей организации может понадобиться всего несколько моделей, но, скорее всего, вам потребуется сложная структура вложенных моделей для преобразования необходимых данных. Модель — это один файл, содержащий финальный оператор select, и проект может иметь несколько моделей, и модели могут даже ссылаться друг на друга. Добавьте к этому множество проектов, и уровень усилий, необходимых для преобразования сложных наборов данных, может значительно улучшиться по сравнению со старыми методами.

Узнайте больше о моделях на страницах SQL модели и Python модели. Если вы хотите начать с небольшой практики, посетите наше Руководство для начинающих для получения инструкций по настройке примера данных Jaffle_Shop, чтобы вы могли на практике оценить мощь dbt.

Нашли ошибку?

0
Loading