# Советы и хитрости dbt

Используйте эту страницу как источник полезных наблюдений и практических рекомендаций для улучшения работы с dbt. Независимо от того, только ли вы начинаете работать с dbt или уже являетесь опытным пользователем, эти советы помогут вам работать более эффективно и результативно.

Ниже приведены советы, сгруппированные по следующим категориям:

* [Советы по пакетам](#package-tips), которые помогут оптимизировать ваш рабочий процесс.
* [Продвинутые советы и техники](#advanced-tips-and-techniques), которые помогут получить максимум от dbt.

Если вы разрабатываете с помощью Studio IDE, обратитесь к странице [сочетаний клавиш](https://docs.getdbt.tech/docs/platform/studio-ide/keyboard-shortcuts.md), чтобы сделать разработку продуктивнее и удобнее для всех.

## Советы по YAML

В этом разделе поясняется, где можно использовать [Jinja](https://docs.getdbt.tech/docs/build/jinja-macros.md), а также вкладывать [vars](https://docs.getdbt.tech/reference/dbt-jinja-functions/var.md) и [`env_var`](https://docs.getdbt.tech/reference/dbt-jinja-functions/env_var.md) в YAML-файлах. Полную справку по каждому типу файлов см. в разделе [Поддержка Jinja по типам файлов](https://docs.getdbt.tech/reference/jinja-file-support.md).

(Версии dbt: v2.0 и новее)

* Jinja можно использовать почти во всех YAML-файлах в dbt, включая `dependencies.yml` при работе с dbt v2. Если ваш проект также должен работать с dbt v1, используйте `packages.yml` для описания пакетов с применением Jinja, чтобы сохранить обратную совместимость.

- Используйте `vars` в любом YAML-файле, который поддерживает Jinja (например, `schema.yml`, `snapshots.yml`). Однако обратите внимание:
  * В файлах `dbt_project.yml`, `packages.yml` и `profiles.yml` необходимо передавать `vars` через CLI с помощью `--vars`, а не определять их в блоке `vars:` внутри YAML-файла. Это связано с тем, что разбор этих файлов выполняется до рендеринга Jinja.
- Вы можете использовать `env_var()` во всех YAML-файлах, которые поддерживают Jinja. Только `profiles.yml` и `packages.yml` поддерживают переменные окружения для конфиденциальных значений (с префиксом `DBT_ENV_SECRET_`). Их значения маскируются в логах; эти переменные предназначены для учётных данных или секретов.

Дополнительную информацию см. в [документации по контексту dbt v1](https://github.com/dbt-labs/dbt/blob/1.latest/core/dbt/context/README.md).

## Советы по пакетам

Используйте эти пакеты dbt, чтобы упростить и ускорить ваш рабочий процесс:

| Пакет                                                                                   | Описание                                                                                                                                                                         |
| --------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| [`dbt_codegen`](https://hub.getdbt.com/dbt-labs/codegen/latest/)                        | Используйте этот пакет для генерации YML-файлов для моделей и источников, а также SQL-файлов для staging-моделей.                                                                |
| [`dbt_utils`](https://hub.getdbt.com/dbt-labs/dbt_utils/latest/)                        | Пакет содержит макросы, полезные для повседневной разработки. Например, `date_spine` генерирует таблицу со всеми датами между значениями, переданными в параметрах.              |
| [`dbt_project_evaluator`](https://hub.getdbt.com/dbt-labs/dbt_project_evaluator/latest) | Пакет сравнивает ваш dbt-проект со списком наших лучших практик и предоставляет рекомендации и указания по обновлению моделей.                                                   |
| [`dbt_expectations`](https://hub.getdbt.com/metaplane/dbt_expectations/latest/)         | Пакет содержит множество тестов, выходящих за рамки встроенных в dbt.                                                                                                            |
| [`dbt_audit_helper`](https://hub.getdbt.com/#:~:text=adwords-,audit_helper,-codegen)    | Пакет позволяет сравнивать результаты выполнения двух запросов. Используйте его при рефакторинге существующей логики, чтобы убедиться, что новые результаты полностью совпадают. |
| [`dbt_artifacts`](https://hub.getdbt.com/brooklyn-data/dbt_artifacts/latest)            | Пакет сохраняет информацию о запусках dbt непосредственно в вашей платформе данных, что позволяет отслеживать производительность моделей с течением времени.                     |
| [`dbt_meta_testing`](https://hub.getdbt.com/tnightengale/dbt_meta_testing/latest)       | Этот пакет проверяет, достаточно ли ваш dbt-проект покрыт тестами и документацией.                                                                                               |

## Продвинутые советы и техники

* Используйте структуру папок как основной способ селекции моделей. Команда `dbt build --select marts.marketing` проще и надежнее, чем использование тегов для каждой модели.
* Рассматривайте джобы с точки зрения частоты сборки и SLA. Запускайте вместе модели с почасовой, ежедневной или еженедельной периодичностью.
* Используйте конфигурацию [where config](https://docs.getdbt.tech/reference/resource-configs/where.md) для тестов, чтобы проверять утверждение только на подмножестве записей.
* Опция [store\_failures](https://docs.getdbt.tech/reference/resource-configs/store_failures.md) позволяет изучать записи, из-за которых тесты не проходят, чтобы вы могли либо исправить данные, либо изменить сам тест.
* Используйте пороги [severity](https://docs.getdbt.tech/reference/resource-configs/severity.md), чтобы задать допустимое количество ошибок для теста.
* Используйте [incremental\_strategy](https://docs.getdbt.tech/docs/build/incremental-strategy.md) в конфигурации инкрементальной модели, чтобы реализовать наиболее эффективное поведение в зависимости от объема данных и надежности уникальных ключей.
* Задавайте `vars` в файле `dbt_project.yml`, чтобы определить глобальные значения по умолчанию для определенных условий, которые затем можно переопределять с помощью флага `--vars` в командах.
* Используйте [for loops](https://docs.getdbt.tech/guides/using-jinja.md?step=3) в Jinja, чтобы соблюдать принцип DRY и избавляться от повторяющейся логики, например при выборе серии колонок с одинаковыми трансформациями и шаблонами именования.
* Вместо использования post-hooks применяйте конфигурацию [grants config](https://docs.getdbt.tech/reference/resource-configs/grants.md) для надежного управления правами доступа в хранилище данных.
* Определяйте пороги [source-freshness](https://docs.getdbt.tech/docs/build/sources.md#source-data-freshness) для источников, чтобы избежать запуска трансформаций на данных, которые уже были обработаны.
* Используйте оператор `+` слева от имени модели — `dbt build --select +model_name`, чтобы запустить модель и все ее upstream-зависимости. Используйте оператор `+` справа — `dbt build --select model_name+`, чтобы запустить модель и все downstream-зависимые от нее объекты.
* Используйте `dir_name`, чтобы запускать все модели в пакете или директории.
* Используйте оператор `@` слева от имени модели в CI без поддержки state-aware подхода для ее тестирования. Этот оператор запускает всех родителей и потомков выбранного объекта, а также родителей его потомков, которые в свежей CI-схеме, скорее всего, еще не существуют.
* Используйте флаг [--exclude](https://docs.getdbt.tech/reference/node-selection/exclude.md), чтобы исключить подмножество моделей из выборки.
* Используйте флаг [--full-refresh](https://docs.getdbt.tech/reference/commands/run.md#refresh-incremental-models), чтобы пересобрать инкрементальную модель с нуля.
* Используйте [seeds](https://docs.getdbt.tech/docs/build/seeds.md) для создания справочных таблиц вручную, например соответствий ZIP-кодов штатам или UTM-меток маркетинга кампаниям. Команда `dbt seed` загрузит CSV-файлы в ваше хранилище данных и сделает их доступными для использования через `ref` в моделях.
* Используйте [target.name](https://docs.getdbt.tech/docs/build/custom-schemas.md#a-built-in-alternative-pattern-for-generating-schema-names), чтобы ветвить логику в зависимости от используемого окружения. Например, при разработке собирать все в одной схеме, а в продакшене — использовать несколько схем.

## Связанные документы

* [Руководство по быстрому старту](https://docs.getdbt.tech/guides.md)
* [О dbt](https://docs.getdbt.tech/docs/platform/about-platform/dbt-platform-features.md)
* [Разработка в облаке](https://docs.getdbt.tech/docs/platform/about-develop-dbt.md)
