Советы и хитрости dbt
Используйте эту страницу как источник полезных наблюдений и практических рекомендаций для улучшения работы с dbt. Независимо от того, только ли вы начинаете работать с dbt или уже являетесь опытным пользователем, эти советы помогут вам работать более эффективно и результативно.
Ниже приведены советы, сгруппированные по следующим категориям:
- Советы по пакетам, которые помогут оптимизировать ваш рабочий процесс.
- Продвинутые советы и техники, которые помогут получить максимум от dbt.
Если вы разрабатываете с помощью Studio IDE, обратитесь к странице сочетаний клавиш, чтобы сделать разработку продуктивнее и удобнее для всех.
Советы по YAML
В этом разделе поясняется, где можно использовать Jinja, а также вкладывать vars и env_var в YAML-файлах. Полную справку по каждому типу файлов см. в разделе Поддержка Jinja по типам файлов.
- Jinja можно использовать почти во всех YAML-файлах в dbt, включая
dependencies.ymlпри работе с dbt v2. Если ваш проект также должен работать с dbt v1, используйтеpackages.ymlдля описания пакетов с применением Jinja, чтобы сохранить обратную совместимость.
- Используйте
varsв любом YAML-файле, который поддерживает Jinja (например,schema.yml,snapshots.yml). Однако обратите внимание:- В файлах
dbt_project.yml,packages.ymlиprofiles.ymlнеобходимо передаватьvarsчерез CLI с помощью--vars, а не определять их в блокеvars:внутри YAML-файла. Это связано с тем, что разбор этих файлов выполняется до рендеринга Jinja.
- В файлах
- Вы можете использовать
env_var()во всех YAML-файлах, которые поддерживают Jinja. Толькоprofiles.ymlиpackages.ymlподдерживают переменные окружения для конфиденциальных значений (с префиксомDBT_ENV_SECRET_). Их значения маскируются в логах; эти переменные предназначены для учётных данных или секретов.
Дополнительную информацию см. в документации по контексту dbt v1.
Советы по пакетам
Используйте эти пакеты dbt, чтобы упростить и ускорить ваш рабочий процесс:
| Пакет | Описание |
|---|---|
dbt_codegen | Используйте этот пакет для генерации YML-файлов для моделей и источников, а также SQL-файлов для staging-моделей. |
dbt_utils | Пакет содержит макросы, полезные для повседневной разработки. Например, date_spine генерирует таблицу со всеми датами между значениями, переданными в параметрах. |
dbt_project_evaluator | Пакет сравнивает ваш dbt-проект со списком наших лучших практик и предоставляет рекомендации и указания по обновлению моделей. |
dbt_expectations | Пакет содержит множество тестов, выходящих за рамки встроенных в dbt. |
dbt_audit_helper | Пакет позволяет сравнивать результаты выполнения двух запросов. Используйте его при рефакторинге существующей логики, чтобы убедиться, что новые результаты полностью совпадают. |
dbt_artifacts | Пакет сохраняет информацию о запусках dbt непосредственно в вашей платформе данных, что позволяет отслеживать производительность моделей с течением времени. |
dbt_meta_testing | Этот пакет проверяет, достаточно ли ваш dbt-проект покрыт тестами и документацией. |
Продвинутые советы и техники
- Используйте структуру папок как основной способ селекции моделей. Команда
dbt build --select marts.marketingпроще и надежнее, чем использование тегов для каждой модели. - Рассматривайте джобы с точки зрения частоты сборки и SLA. Запускайте вместе модели с почасовой, ежедневной или еженедельной периодичностью.
- Используйте конфигурацию where config для тестов, чтобы проверять утверждение только на подмножестве записей.
- Опция store_failures позволяет изучать записи, из-за которых тесты не проходят, чтобы вы могли либо исправить данные, либо изменить сам тест.
- Используйте пороги severity, чтобы задать допустимое количество ошибок для теста.
- Используйте incremental_strategy в конфигурации инкрементальной модели, чтобы реализовать наиболее эффективное поведение в зависимости от объема данных и надежности уникальных ключей.
- Задавайте
varsв файлеdbt_project.yml, чтобы определить глобальные значения по умолчанию для определенных условий, которые затем можно переопределять с помощью флага--varsв командах. - Используйте for loops в Jinja, чтобы соблюдать принцип DRY и избавляться от повторяющейся логики, например при выборе серии колонок с одинаковыми трансформациями и шаблонами именования.
- Вместо использования post-hooks применяйте конфигурацию grants config для надежного управления правами доступа в хранилище данных.
- Определяйте пороги source-freshness для источников, чтобы избежать запуска трансформаций на данных, которые уже были обработаны.
- Используйте оператор
+слева от имени модели —dbt build --select +model_name, чтобы запустить модель и все ее upstream-зависимости. Используйте оператор+справа —dbt build --select model_name+, чтобы запустить модель и все downstream-зависимые от нее объекты. - Используйте
dir_name, чтобы запускать все модели в пакете или директории. - Используйте оператор
@слева от имени модели в CI без поддержки state-aware подхода для ее тестирования. Этот оператор запускает всех родителей и потомков выбранного объекта, а также родителей его потомков, которые в свежей CI-схеме, скорее всего, еще не существуют. - Используйте флаг --exclude, чтобы исключить подмножество моделей из выборки.
- Используйте флаг --full-refresh, чтобы пересобрать инкрементальную модель с нуля.
- Используйте seeds для создания справочных таблиц вручную, например соответствий ZIP-кодов штатам или UTM-меток маркетинга кампаниям. Команда
dbt seedзагрузит CSV-файлы в ваше хранилище данных и сделает их доступными для использования черезrefв моделях. - Используйте target.name, чтобы ветвить логику в зависимости от используемого окружения. Например, при разработке собирать все в одной схеме, а в продакшене — использовать несколько схем.