О проектах dbt
Проект dbt информирует dbt о контексте вашего проекта и о том, как трансформировать ваши данные (создавать наборы данных). По замыслу, dbt обеспечивает верхнеуровневую структуру проекта dbt, такую как файл dbt_project.yml, директорию models, директорию snapshots и так далее. В пределах верхнеуровневых директорий вы можете организовать свой проект любым способом, который соответствует потребностям вашей организации и конвейера данных.
Минимально, все, что нужно проекту, это файл конфигурации проекта dbt_project.yml. dbt поддерживает ряд различных ресурсов, поэтому проект может также включать:
| Ресурс | Описание |
|---|---|
| models | Каждая модель хранится в одном файле и содержит логику, которая либо преобразует сырые данные в набор данных, готовый для аналитики, либо, что встречается чаще, является промежуточным шагом такого преобразования. |
| snapshots | Способ зафиксировать состояние изменяемых таблиц, чтобы к нему можно было обратиться позже. |
| seeds | CSV-файлы со статическими данными, которые можно загрузить в вашу платформу данных с помощью dbt. |
| data tests | SQL-запросы, которые вы можете писать для тестирования моделей и ресурсов в вашем проекте. |
| macros | Блоки кода, которые можно переиспользовать многократно. |
| docs | Документация для вашего проекта, которую вы можете сгенерировать. |
| sources | Способ именовать и описывать данные, загружаемые в ваше хранилище инструментами Extract и Load. |
| exposures | Способ определить и описать downstream-использование вашего проекта. |
| metrics | Способ определить метрики для вашего проекта. |
| Группы | Объединяют узлы в отдельные группы. |
| analysis | Способ организовать аналитические SQL-запросы в вашем проекте, например главный бухгалтерский журнал (general ledger) из QuickBooks. |
| Семантические модели | Определяют базовые отношения данных в MetricFlow и Semantic Layer, чтобы метрики можно было запрашивать через семантический граф. |
| Сохранённые запросы | Объединяют метрики, измерения и фильтры в переиспользуемые узлы графа dbt. |
| user-defined functions | Пользовательские функции (UDFs) позволяют создавать переиспользуемые кастомные функции в вашем хранилище, которыми можно делиться между dbt, BI-инструментами, workflow для data science и другими системами. |
При создании структуры вашего проекта вы должны учитывать следующие аспекты, влияющие на рабочий процесс вашей организации:
- Как пользователи будут запускать команды dbt — Выбор пути
- Как пользователи будут ориентироваться в проекте — Будь то разработчики в Studio IDE или заинтересованные стороны, использующие документацию
- Как пользователи будут настраивать модели — Некоторые общие настройки проще задавать на уровне каталога, чтобы пользователям не приходилось помнить о необходимости указывать всё в блоке конфигурации для каждой новой модели
Конфигурация проекта
Каждый проект dbt включает файл конфигурации проекта под названием dbt_project.yml. Он определяет директорию проекта dbt и другие конфигурации проекта.
Редактируйте dbt_project.yml, чтобы настроить общие конфигурации проекта, такие как:
| YAML ключ | Описание значения |
|---|---|
| name | Название вашего проекта в формате snake case |
| version | Версия вашего проекта |
| require-dbt-version | Ограничение совместимости проекта диапазоном версий dbt v1 |
| profile | Профиль, который dbt использует для подключения к вашей платформе данных |
| model-paths | Каталоги, в которых находятся файлы моделей и источников |
| seed-paths | Каталоги, в которых находятся seed-файлы |
| test-paths | Каталоги, в которых находятся файлы тестов |
| analysis-paths | Каталоги, в которых находятся ваши аналитические запросы |
| macro-paths | Каталоги, в которых находятся ваши макросы |
| snapshot-paths | Каталоги, в которых находятся ваши снимки |
| docs-paths | Каталоги, в которых находятся ваши блоки документации |
| vars | Переменные проекта, которые вы хотите использовать при компиляции данных |
Для получения полной информации о конфигурациях проекта, смотрите dbt_project.yml.
Поддиректории проекта
Вы можете использовать параметр Project subdirectory в dbt, чтобы указать подкаталог в вашем git-репозитории, который dbt должен использовать в качестве корневого каталога проекта. Это полезно, если в одном репозитории находится несколько проектов dbt или если вы хотите распределить файлы проекта dbt по подкаталогам для удобства управления.
Чтобы использовать параметр Project subdirectory в dbt, выполните следующие действия:
-
Нажмите на имя вашей учетной записи в левом нижнем углу и выберите Your profile.
-
В разделе Проекты выберите проект, который вы хотите настроить как поддиректорию проекта.
-
Выберите Редактировать в нижнем правом углу страницы.
-
В поле Project subdirectory укажите имя подкаталога. Например, если YAML‑файлы вашего проекта находятся в подкаталоге
<repository>/finance, необходимо указатьfinanceв качестве подкаталога.- Вы также можете указывать вложенные подкаталоги. Например, если YAML‑файлы вашего проекта находятся в
<repository>/teams/finance, в поле подкаталога следует указатьteams/finance. Примечание: в поле Project subdirectory не требуется указывать начальный или конечный символ/.
- Вы также можете указывать вложенные подкаталоги. Например, если YAML‑файлы вашего проекта находятся в
-
Нажмите Сохранить, когда закончите.
После настройки параметра Project subdirectory dbt будет использовать указанный подкаталог в качестве корневого каталога вашего проекта dbt. Это означает, что команды dbt, такие как dbt run или dbt test, будут работать с файлами в указанном подкаталоге. Если в подкаталоге, указанном в Project subdirectory, нет файла dbt_project.yml, вам будет предложено инициализировать проект dbt.
Некоторые планы поддерживают только один dbt‑проект, тогда как планы уровня Enterprise позволяют работать с несколькими проектами и использовать межпроектные ссылки с помощью Mesh.
Новые проекты
Вы можете создавать новые проекты и делиться ими с другими людьми, размещая их в репозитории Git на таких платформах, как GitHub, GitLab и BitBucket.
После настройки подключения к вашей платформе данных вы можете инициализировать новый проект в dbt и начать разработку. Или выполните dbt init из командной строки, чтобы настроить новый проект.
Во время инициализации проекта dbt создает примерные файлы моделей в вашей директории проекта, чтобы помочь вам быстро начать разработку.
Примерные проекты
Если вы хотите подробнее изучить проекты dbt, обратитесь к руководству Клонирование примера проекта Jaffle Shop. Этот проект можно запустить; он содержит примеры конфигураций и полезные примечания.
Если вы хотите увидеть, как выглядит зрелый, производственный проект, ознакомьтесь с публичным репозиторием команды данных GitLab.
Связанная документация
- Лучшие практики: как мы структурируем наши проекты dbt
- Руководства по быстрому старту с dbt
- Руководство по быстрому старту с dbt v1