Перейти к основному содержимому

О проектах dbt

Проект dbt информирует dbt о контексте вашего проекта и о том, как трансформировать ваши данные (создавать наборы данных). По замыслу, dbt обеспечивает верхнеуровневую структуру проекта dbt, такую как файл dbt_project.yml, директорию models, директорию snapshots и так далее. В пределах верхнеуровневых директорий вы можете организовать свой проект любым способом, который соответствует потребностям вашей организации и конвейера данных.

Минимально, все, что нужно проекту, это файл конфигурации проекта dbt_project.yml. dbt поддерживает ряд различных ресурсов, поэтому проект может также включать:

РесурсОписание
modelsКаждая модель хранится в одном файле и содержит логику, которая либо преобразует сырые данные в набор данных, готовый для аналитики, либо, что встречается чаще, является промежуточным шагом такого преобразования.
snapshotsСпособ зафиксировать состояние изменяемых таблиц, чтобы к нему можно было обратиться позже.
seedsCSV-файлы со статическими данными, которые можно загрузить в вашу платформу данных с помощью dbt.
data testsSQL-запросы, которые вы можете писать для тестирования моделей и ресурсов в вашем проекте.
macrosБлоки кода, которые можно переиспользовать многократно.
docsДокументация для вашего проекта, которую вы можете сгенерировать.
sourcesСпособ именовать и описывать данные, загружаемые в ваше хранилище инструментами Extract и Load.
exposuresСпособ определить и описать downstream-использование вашего проекта.
metricsСпособ определить метрики для вашего проекта.
ГруппыОбъединяют узлы в отдельные группы.
analysisСпособ организовать аналитические SQL-запросы в вашем проекте, например главный бухгалтерский журнал (general ledger) из QuickBooks.
Семантические моделиОпределяют базовые отношения данных в MetricFlow и Semantic Layer, чтобы метрики можно было запрашивать через семантический граф.
Сохранённые запросыОбъединяют метрики, измерения и фильтры в переиспользуемые узлы графа dbt.
user-defined functionsПользовательские функции (UDFs) позволяют создавать переиспользуемые кастомные функции в вашем хранилище, которыми можно делиться между dbt, BI-инструментами, workflow для data science и другими системами.

При создании структуры вашего проекта вы должны учитывать следующие аспекты, влияющие на рабочий процесс вашей организации:

  • Как пользователи будут запускать команды dbt — Выбор пути
  • Как пользователи будут ориентироваться в проекте — Будь то разработчики в Studio IDE или заинтересованные стороны, использующие документацию
  • Как пользователи будут настраивать модели — Некоторые общие настройки проще задавать на уровне каталога, чтобы пользователям не приходилось помнить о необходимости указывать всё в блоке конфигурации для каждой новой модели

Конфигурация проекта​

Каждый проект dbt включает файл конфигурации проекта под названием dbt_project.yml. Он определяет директорию проекта dbt и другие конфигурации проекта.

Редактируйте dbt_project.yml, чтобы настроить общие конфигурации проекта, такие как:

YAML ключОписание значения
nameНазвание вашего проекта в формате snake case
versionВерсия вашего проекта
require-dbt-versionОграничение совместимости проекта диапазоном версий dbt v1
profileПрофиль, который dbt использует для подключения к вашей платформе данных
model-pathsКаталоги, в которых находятся файлы моделей и источников
seed-pathsКаталоги, в которых находятся seed-файлы
test-pathsКаталоги, в которых находятся файлы тестов
analysis-pathsКаталоги, в которых находятся ваши аналитические запросы
macro-pathsКаталоги, в которых находятся ваши макросы
snapshot-pathsКаталоги, в которых находятся ваши снимки
docs-pathsКаталоги, в которых находятся ваши блоки документации
varsПеременные проекта, которые вы хотите использовать при компиляции данных

Для получения полной информации о конфигурациях проекта, смотрите dbt_project.yml.

Поддиректории проекта​

Вы можете использовать параметр Project subdirectory в dbt, чтобы указать подкаталог в вашем git-репозитории, который dbt должен использовать в качестве корневого каталога проекта. Это полезно, если в одном репозитории находится несколько проектов dbt или если вы хотите распределить файлы проекта dbt по подкаталогам для удобства управления.

Чтобы использовать параметр Project subdirectory в dbt, выполните следующие действия:

  1. Нажмите на имя вашей учетной записи в левом нижнем углу и выберите Your profile.

  2. В разделе Проекты выберите проект, который вы хотите настроить как поддиректорию проекта.

  3. Выберите Редактировать в нижнем правом углу страницы.

  4. В поле Project subdirectory укажите имя подкаталога. Например, если YAML‑файлы вашего проекта находятся в подкаталоге <repository>/finance, необходимо указать finance в качестве подкаталога.

    • Вы также можете указывать вложенные подкаталоги. Например, если YAML‑файлы вашего проекта находятся в <repository>/teams/finance, в поле подкаталога следует указать teams/finance. Примечание: в поле Project subdirectory не требуется указывать начальный или конечный символ /.
  5. Нажмите Сохранить, когда закончите.

После настройки параметра Project subdirectory dbt будет использовать указанный подкаталог в качестве корневого каталога вашего проекта dbt. Это означает, что команды dbt, такие как dbt run или dbt test, будут работать с файлами в указанном подкаталоге. Если в подкаталоге, указанном в Project subdirectory, нет файла dbt_project.yml, вам будет предложено инициализировать проект dbt.

Поддержка проектов в тарифных планах dbt

Некоторые планы поддерживают только один dbt‑проект, тогда как планы уровня Enterprise позволяют работать с несколькими проектами и использовать межпроектные ссылки с помощью Mesh.

Новые проекты​

Вы можете создавать новые проекты и делиться ими с другими людьми, размещая их в репозитории Git на таких платформах, как GitHub, GitLab и BitBucket.

После настройки подключения к вашей платформе данных вы можете инициализировать новый проект в dbt и начать разработку. Или выполните dbt init из командной строки, чтобы настроить новый проект.

Во время инициализации проекта dbt создает примерные файлы моделей в вашей директории проекта, чтобы помочь вам быстро начать разработку.

Примерные проекты​

Если вы хотите подробнее изучить проекты dbt, обратитесь к руководству Клонирование примера проекта Jaffle Shop. Этот проект можно запустить; он содержит примеры конфигураций и полезные примечания.

Если вы хотите увидеть, как выглядит зрелый, производственный проект, ознакомьтесь с публичным репозиторием команды данных GitLab.

Связанная документация​

Нашли ошибку?

0
Loading