# Быстрый старт с dbt и BigQuery

> **Using this guide with an AI assistant**
>
> * In the first reply, confirm the reader’s prerequisites and connection path before listing steps. Then default to one guide section per reply (combine two or three short sections), with all its steps, labeled Step 1, Step 2, and so on, and confirm the success check before continuing. If the reader asks for a different pace, follow it.
> * This guide uses dbt platform. Don’t switch the reader to a local setup. If the reader wants to set up dbt locally, use the <https://docs.getdbt.com/guides/dbt> guide instead
> * Never ask for passwords or keys in chat.
> * When the reader needs a dbt account, share <https://www.getdbt.com/signup?utm_source=ai_assistant&utm_medium=docs_md&utm_campaign=bigquery-qs>

[Назад к гайдам](https://docs.getdbt.tech/guides.md)

[Menu ]()



## Введение

В этом кратком руководстве вы узнаете, как использовать dbt с BigQuery. В нём показано, как:

* Создать проект в Google Cloud Platform (GCP).
* Получить доступ к демонстрационным данным в общедоступном наборе данных.
* Подключить dbt к BigQuery.
* Преобразовать пример запроса в модель в вашем проекте dbt. Модель в dbt — это SQL-запрос SELECT.
* Добавить тесты к вашим моделям.
* Документировать ваши модели.
* Настроить запуск задания по расписанию.

### Предварительные требования

* У вас есть [учетная запись dbt](https://www.getdbt.com/signup/).
* У вас есть [учетная запись Google](https://support.google.com/accounts/answer/27441?hl=en).
* Вы можете использовать личную или рабочую учетную запись, чтобы настроить BigQuery через [Google Cloud Platform (GCP)](https://cloud.google.com/free).

### Связанные материалы

* Узнайте больше с [курсами dbt Learn](https://learn.getdbt.com)
* [CI задания](https://docs.getdbt.tech/docs/deploy/continuous-integration.md)
* [Развертывание заданий](https://docs.getdbt.tech/docs/deploy/deploy-jobs.md)
* [Уведомления о заданиях](https://docs.getdbt.tech/docs/deploy/job-notifications.md)
* [Актуальность источников](https://docs.getdbt.tech/docs/deploy/source-freshness.md)

Видео для вас

Если вам интересно обучение с помощью видео, вы можете бесплатно пройти курс [dbt Fundamentals](https://learn.getdbt.com/courses/dbt-fundamentals).

## Создайте новый проект GCP​

1. Перейдите в [Консоль BigQuery](https://console.cloud.google.com/bigquery) после входа в ваш аккаунт Google. Если у вас несколько аккаунтов Google, убедитесь, что вы используете правильный.
2. Создайте новый проект на [странице управления ресурсами](https://console.cloud.google.com/projectcreate?previousPage=%2Fcloud-resource-manager%3Fwalkthrough_id%3Dresource-manager--create-project%26project%3D%26folder%3D%26organizationId%3D%23step_index%3D1\&walkthrough_id=resource-manager--create-project). Для получения дополнительной информации обратитесь к [Создание проекта](https://cloud.google.com/resource-manager/docs/creating-managing-projects#creating_a_project) в документации Google Cloud. GCP автоматически заполняет поле имени проекта для вас. Вы можете изменить его на более описательное для вашего использования. Например, `dbt Learn - BigQuery Setup`.

## Создание наборов данных BigQuery

1. В [Консоли BigQuery](https://console.cloud.google.com/bigquery) нажмите **Редактор**. Убедитесь, что выбран ваш недавно созданный проект, который доступен в верхней части страницы.

2. Убедитесь, что вы можете выполнять SQL-запросы. Скопируйте и вставьте эти запросы в редактор запросов:

   ```sql
   select * from `dbt-tutorial.jaffle_shop.customers`;
   select * from `dbt-tutorial.jaffle_shop.orders`;
   select * from `dbt-tutorial.stripe.payment`;
   ```

   Нажмите **Выполнить**, затем проверьте результаты запросов. Например:

   [![Результаты запроса Bigquery](/img/bigquery/query-results.png?v=2 "Результаты запроса Bigquery")](#)Результаты запроса Bigquery

3. Создайте новые наборы данных в [Консоли BigQuery](https://console.cloud.google.com/bigquery). Для получения дополнительной информации обратитесь к [Создание наборов данных](https://cloud.google.com/bigquery/docs/datasets#create-dataset) в документации Google Cloud. Наборы данных в BigQuery эквивалентны схемам в традиционной базе данных. На странице **Создать набор данных**:

   * **ID набора данных** — Введите имя, соответствующее цели. Это имя используется как схема в полностью квалифицированных ссылках на ваши объекты базы данных, такие как `database.schema.table`. В качестве примера для этого руководства создайте один для `jaffle_shop`, а затем другой для `stripe`.
   * **Расположение данных** — Оставьте пустым (по умолчанию). Это определяет местоположение GCP, где хранятся ваши данные. Текущее местоположение по умолчанию — многорегион США. Все таблицы в этом наборе данных будут использовать это местоположение.
   * **Включить истечение срока действия таблицы** — Оставьте невыбранным (по умолчанию). По умолчанию срок действия таблицы выставления счетов составляет 60 дней. Поскольку выставление счетов не включено для этого проекта, GCP по умолчанию устаревшие таблицы.
   * **Ключ шифрования, управляемый Google** — Эта опция доступна в разделе **Дополнительные параметры**. Разрешите Google управлять шифрованием (по умолчанию).

   [![Создание ID набора данных Bigquery](/img/bigquery/create-dataset-id.png?v=2 "Создание ID набора данных Bigquery")](#)Создание ID набора данных Bigquery

4. После создания набора данных `jaffle_shop` создайте один для `stripe` с теми же значениями, кроме **ID набора данных**.

## Генерация учетных данных BigQuery

Чтобы dbt мог подключиться к вашему хранилищу, вам нужно будет сгенерировать файл ключа. Это аналогично использованию имени пользователя и пароля базы данных с большинством других хранилищ данных.

1. Запустите [мастер создания учетных данных GCP](https://console.cloud.google.com/apis/credentials/wizard). Убедитесь, что в верхней части страницы выбран ваш новый проект. Если вы не видите свою учетную запись или проект, нажмите на изображение профиля справа и убедитесь, что используете учетную запись с нужным адресом электронной почты. В разделе **Credential Type**:

   * В раскрывающемся списке **Select an API** выберите **BigQuery API**
   * Выберите **Application data** в качестве типа данных, к которым вы будете обращаться
   * Нажмите **Next**, чтобы создать новый сервисный аккаунт.

2. Создайте сервисный аккаунт для нового проекта на [странице сервисных аккаунтов](https://console.cloud.google.com/projectselector2/iam-admin/serviceaccounts?supportedpurview=project). Дополнительную информацию см. в разделе [Создание сервисного аккаунта](https://developers.google.com/workspace/guides/create-credentials#create_a_service_account) документации Google Cloud. В рамках этого руководства вы можете, например:

   * Ввести `dbt-user` в поле **Service account name**
   * В раскрывающемся списке **Select a role** выбрать роли **BigQuery Job User**, **BigQuery Read Session User** и **BigQuery Data Editor**, затем нажать **Continue**
   * Оставить поля в разделе **Grant users access to this service account** пустыми
   * Нажать **Done**

3. Создайте ключ сервисного аккаунта для нового проекта на [странице сервисных аккаунтов](https://console.cloud.google.com/iam-admin/serviceaccounts?walkthrough_id=iam--create-service-account-keys\&start_index=1#step_index=1). Дополнительную информацию см. в разделе [Создание ключа сервисного аккаунта](https://cloud.google.com/iam/docs/creating-managing-service-account-keys#creating) документации Google Cloud. При скачивании JSON-файла задайте имя, которое будет легко запомнить. Например, `dbt-user-creds.json`. Из соображений безопасности dbt Labs рекомендует защищать этот JSON-файл так же, как ваши учетные данные для подтверждения личности; например, не добавляйте JSON-файл в систему контроля версий.

## Подключение dbt к BigQuery​

1. В [dbt](https://docs.getdbt.tech/docs/platform/about-platform/access-regions-ip-addresses.md) нажмите на название своей учетной записи в меню слева.

2. Перейдите в **Account settings** и нажмите **+ New project**.

3. Введите название проекта и нажмите **Continue**.

4. В качестве хранилища данных выберите **BigQuery**, затем нажмите **Next**, чтобы настроить подключение.

5. В настройках нажмите **Upload a Service Account JSON File**.

6. Выберите JSON-файл, скачанный на этапе создания учетных данных BigQuery, и dbt заполнит все необходимые поля.

7. (Необязательно) В тарифных планах dbt Enterprise можно настроить OAuth для разработчиков при работе с BigQuery, обеспечив дополнительный уровень безопасности. Дополнительную информацию см. в разделе [Настройка OAuth для BigQuery](https://docs.getdbt.tech/docs/platform/manage-access/set-up-bigquery-oauth.md).

8. Настройте свои личные учетные данные пользователя, перейдя в **Your profile** > **Credentials**.

9. Выберите свой проект, использующий подключение к BigQuery.

10. Нажмите **Edit**.

11. Укажите свои учетные данные пользователя для BigQuery в разделе **User credentials**:

    * **Authentication Method** — Выберите **Service Account JSON**. При этом будет использоваться сервисный аккаунт, JSON-файл которого вы загрузили при настройке подключения проекта.
    * **Dataset** — Вы можете заметить, что имя набора данных уже создано автоматически. По принятому соглашению оно имеет вид `dbt_<first-initial><last-name>`. Этот набор данных напрямую связан с вашей средой разработки, и именно в нем будут создаваться ваши модели при запуске dbt в Studio IDE.
    * **Target name** — Оставьте значение по умолчанию.
    * **Threads** — Оставьте значение по умолчанию (6). Это количество одновременных подключений, которые dbt будет устанавливать для параллельного создания моделей.

    [![Учетные данные пользователя BigQuery](/img/bigquery/dbt_platform_bigquery_development_credentials.png?v=2 "Учетные данные пользователя BigQuery")](#)Учетные данные пользователя BigQuery

12. Нажмите **Test Connection**. Эта проверка подтверждает, что dbt может получить доступ к вашей учетной записи BigQuery.

13. Если проверка прошла успешно, нажмите **Next**. Если проверка завершилась ошибкой, возможно, вам потребуется вернуться к предыдущим шагам и повторно создать учетные данные BigQuery.

## Настройка репозитория под управлением dbt

При разработке в dbt вы можете использовать [Git](https://docs.getdbt.tech/docs/platform/git/git-version-control.md) для управления версиями кода.

Чтобы подключиться к репозиторию, вы можете настроить [управляемый репозиторий](https://docs.getdbt.tech/docs/platform/git/managed-repository.md), размещённый на стороне dbt, или напрямую подключиться к [поддерживаемому Git-провайдеру](https://docs.getdbt.tech/docs/platform/git/connect-github.md). Управляемые репозитории — отличный способ попробовать dbt без необходимости создавать новый репозиторий. В долгосрочной перспективе лучше подключиться к поддерживаемому Git-провайдеру, чтобы использовать такие возможности, как автоматизация и [непрерывная интеграция](https://docs.getdbt.tech/docs/deploy/continuous-integration.md).

Чтобы настроить управляемый репозиторий:

1. В разделе "Настроить репозиторий" выберите **Управляемый**.
2. Введите имя для вашего репозитория, например, `bbaggins-dbt-quickstart`.
3. Нажмите **Создать**. Создание и импорт вашего репозитория займет несколько секунд.
4. Как только вы увидите сообщение "Репозиторий успешно импортирован", нажмите **Продолжить**.

## Инициализация вашего проекта dbt и начало разработки

Теперь, когда у вас настроен репозиторий, вы можете инициализировать ваш проект и начать разработку в dbt Cloud:

## Инициализация проекта dbt и начало разработки

Теперь, когда репозиторий настроен, вы можете инициализировать проект и начать разработку в dbt:

1. Нажмите **Start developing in the Studio IDE**. Первый запуск проекта может занять несколько минут: за это время устанавливается соединение с git, клонируется репозиторий и проверяется подключение к хранилищу данных.

2. Над деревом файлов слева нажмите **Initialize dbt project**. Это создаст структуру папок с примерами моделей.

3. Создайте первый коммит, нажав **Commit and sync**. Укажите сообщение коммита `initial commit` и нажмите **Commit**. Это создаст первый коммит в вашем управляемом репозитории и позволит создать ветку, в которой вы сможете добавлять новый код dbt.

4. Теперь вы можете напрямую запрашивать данные из хранилища и выполнять `dbt run`. Попробуйте сделать это прямо сейчас:

   * Нажмите **+ Create new file**, добавьте этот запрос в новый файл и нажмите **Save as**, чтобы сохранить новый файл:

     ```sql
     select * from `dbt-tutorial.jaffle_shop.customers`
     ```

   * В командной строке внизу введите `dbt run` и нажмите **Enter**. Вы должны увидеть сообщение `dbt run succeeded`.

## Создание вашей первой модели

Если вы хотите использовать ИИ для создания своей первой модели, ознакомьтесь с разделом [Создание модели с помощью dbt Wizard](#build-it-with-ai-using-dbt-wizard) ниже.

У вас есть два варианта работы с файлами в Studio IDE:

* Создать новую ветку (рекомендуется) — Создайте новую ветку для редактирования файлов и фиксации изменений. Перейдите в раздел **Version Control** на левой боковой панели и нажмите **Create branch**.
* Редактировать файлы в защищённой основной ветке — Если вы предпочитаете редактировать, форматировать или проверять файлы линтером и выполнять команды dbt непосредственно в основной ветке git. Studio IDE не позволяет создавать коммиты в защищённой ветке, поэтому вам будет предложено зафиксировать изменения в новой ветке.

Назовите новую ветку `add-customers-model`.

1. Нажмите **...** рядом с директорией `models`, затем выберите **Создать файл**.
2. Назовите файл `customers.sql`, затем нажмите **Создать**.
3. Скопируйте следующий запрос в файл и нажмите **Сохранить**.

```sql
with customers as (

    select
        id as customer_id,
        first_name,
        last_name

    from `dbt-tutorial`.jaffle_shop.customers

),

orders as (

    select
        id as order_id,
        user_id as customer_id,
        order_date,
        status

    from `dbt-tutorial`.jaffle_shop.orders

),

customer_orders as (

    select
        customer_id,

        min(order_date) as first_order_date,
        max(order_date) as most_recent_order_date,
        count(order_id) as number_of_orders

    from orders

    group by 1

),

final as (

    select
        customers.customer_id,
        customers.first_name,
        customers.last_name,
        customer_orders.first_order_date,
        customer_orders.most_recent_order_date,
        coalesce(customer_orders.number_of_orders, 0) as number_of_orders

    from customers

    left join customer_orders using (customer_id)

)

select * from final
```

4. Введите `dbt run` в командной строке внизу экрана. Вы должны получить успешное выполнение и увидеть три модели.

Позже вы сможете подключить свои инструменты бизнес-аналитики (BI), например [dbt Charts](https://dbtcharts.com/), к этим представлениям и таблицам, чтобы они считывали только очищенные, а не сырые данные.

#### Часто задаваемые вопросы

Как посмотреть SQL, который выполняет dbt?

Чтобы посмотреть SQL, который выполняет dbt, вы можете заглянуть в:

* dbt:
  * В выводе запуска нажмите на название модели, а затем выберите «Details»

* dbt v1:

  * Директория `target/compiled/` для скомпилированных операторов `select`
  * Директория `target/run/` для скомпилированных операторов `create`
  * Файл `logs/dbt.log` для подробного логирования

Как dbt выбирает, в какой схеме строить мои модели?

По умолчанию dbt создаёт модели в вашей целевой схеме. Чтобы изменить целевую схему:

* Если вы разрабатываете в **dbt**, эти настройки задаются для каждого пользователя при первом использовании среды разработки.
* Если вы разрабатываете с помощью **dbt v1**, за это отвечает параметр `schema:` в вашем файле `profiles.yml`.

Если вы хотите распределить ваши модели по нескольким схемам, ознакомьтесь с документацией по [использованию пользовательских схем](https://docs.getdbt.tech/docs/build/custom-schemas.md).

Примечание: в BigQuery `dataset` используется как синоним `schema`.

Нужно ли создавать целевую схему перед запуском dbt?

Нет! dbt проверит, существует ли схема, когда она запускается. Если схема не существует, dbt создаст её для вас.

Если я перезапущу dbt, будет ли простой, пока модели перестраиваются?

Нет! SQL, который dbt генерирует за кулисами, гарантирует, что любые связи заменяются атомарно (т.е. ваши бизнес-пользователи не испытают никакого простоя).

Реализация этого процесса варьируется в зависимости от каждого хранилища данных, проверьте [логи](https://docs.getdbt.tech/faqs/Runs/checking-logs.md), чтобы увидеть, какой SQL выполняет dbt.

Что произойдет, если в моем SQL-запросе ошибка или я получу ошибку базы данных?

Если в вашем SQL есть ошибка, dbt вернет ошибку, которую возвращает ваша база данных.

```shell
$ dbt run --select customers
Running with dbt=1.9.0
Found 3 models, 9 tests, 0 snapshots, 0 analyses, 133 macros, 0 operations, 0 seed files, 0 sources

14:04:12 | Concurrency: 1 threads (target='dev')
14:04:12 |
14:04:12 | 1 of 1 START view model dbt_alice.customers.......................... [RUN]
14:04:13 | 1 of 1 ERROR creating view model dbt_alice.customers................. [ERROR in 0.81s]
14:04:13 |
14:04:13 | Finished running 1 view model in 1.68s.

Completed with 1 error and 0 warnings:

Database Error in model customers (models/customers.sql)
  Syntax error: Expected ")" but got identifier `your-info-12345` at [13:15]
  compiled SQL at target/run/jaffle_shop/customers.sql

Done. PASS=0 WARN=0 ERROR=1 SKIP=0 TOTAL=1
```

Любые модели, зависящие от этой модели, также будут пропущены. Используйте сообщение об ошибке и [скомпилированный SQL](https://docs.getdbt.tech/faqs/Runs/checking-logs.md) для отладки любых ошибок.

### Создайте модель с помощью ИИ в dbt Wizard

Не хотите писать SQL вручную? dbt Wizard может создать для вас ту же модель прямо в Studio IDE или на [главной вкладке](https://docs.getdbt.tech/docs/platform/wizard-home.md?version=2\&section=qs-build-with-ai), опираясь на фактическую схему и граф зависимостей вашего проекта. Но будьте осторожны: говорят, волшебник умеет творить заклинания.

1. Откройте dbt Wizard в Studio IDE.

[![dbt Wizard выполняет рефакторинг модели и показывает граф зависимостей в интерфейсе чата.](/img/docs/dbt-platform/wizard-ide-refactor-lineage.png?v=2 "dbt Wizard выполняет рефакторинг модели и показывает граф зависимостей в интерфейсе чата.")](#)dbt Wizard выполняет рефакторинг модели и показывает граф зависимостей в интерфейсе чата.

2. Введите запрос: «Создай модель customers, которая объединяет orders и customers и включает дату последнего заказа и общее количество заказов для каждого клиента».
3. Проверьте SQL, сгенерированный dbt Wizard, затем примите его, чтобы сохранить модель.
4. Введите `dbt run`, чтобы построить модель.

В любом случае вы получите одну и ту же работающую модель. Узнайте больше о [dbt Wizard на платформе dbt](https://docs.getdbt.tech/docs/dbt-ai/wizard-ide.md?section=qs-build-with-ai).

## Измените способ материализации вашей модели

Одной из самых мощных функций dbt является возможность изменять способ материализации модели в вашем хранилище данных, просто изменяя значение конфигурации. Вы можете переключаться между таблицами и представлениями, изменяя ключевое слово, вместо того чтобы писать язык определения данных (DDL) для выполнения этого за кулисами.

По умолчанию все создается как представление. Вы можете переопределить это на уровне директории, чтобы все в этой директории материализовалось по-другому.

1. Отредактируйте ваш файл `dbt_project.yml`.

   * Обновите имя вашего проекта на:

     dbt\_project.yml

     ```yaml
     name: 'jaffle_shop'
     ```

   * Настройте `jaffle_shop` так, чтобы всё внутри него материализовалось как таблица; и настройте `example` так, чтобы всё внутри него материализовалось как представление (view). Обновите конфигурацию `models` в YAML-файле проекта следующим образом:

     dbt\_project.yml

     ```yaml
     models:
       jaffle_shop:
         +materialized: table
         example:
           +materialized: view
     ```

   * Нажмите **Сохранить**.

2. Введите команду `dbt run`. Ваша модель `customers` теперь должна быть построена как таблица!

   к сведению

   Для этого dbt сначала должен был выполнить оператор `drop view` (или API вызов на BigQuery), затем оператор `create table as`.

3. Отредактируйте `models/customers.sql`, чтобы переопределить `dbt_project.yml` только для модели `customers`, добавив следующий фрагмент в начало, и нажмите **Сохранить**:

   models/customers.sql

   ```sql
   {{
     config(
       materialized='view'
     )
   }}

   with customers as (

       select
           id as customer_id
           ...

   )
   ```

4. Введите команду `dbt run`. Ваша модель `customers` теперь должна быть построена как представление.

   * Пользователям BigQuery необходимо выполнить `dbt run --full-refresh` вместо `dbt run`, чтобы полностью применить изменения материализации.

5. Введите команду `dbt run --full-refresh`, чтобы изменения вступили в силу в вашем хранилище данных.

### Часто задаваемые вопросы

Какие материализации доступны в dbt?

В dbt есть пять встроенных материализаций: `view`, `table`, `incremental`, `ephemeral` и `materialized_view`. Подробнее о каждом из этих вариантов можно узнать в документации по [материализациям](https://docs.getdbt.tech/docs/build/materializations.md).

Вы также можете создавать собственные [пользовательские материализации](https://docs.getdbt.tech/guides/create-new-materializations.md). Это расширенная возможность dbt.

Какую материализацию использовать для моей модели?

Начните с представлений (views), а затем измените модели на таблицы, когда это потребуется по причинам производительности (например, когда последующие запросы замедлились).

Ознакомьтесь с [документацией по материализациям](https://docs.getdbt.tech/docs/build/materializations.md) для получения советов о том, когда использовать каждую материализация.

Какие существуют конфигурации моделей?

Вы также можете настроить:

* [теги](https://docs.getdbt.tech/reference/resource-configs/tags.md) для поддержки легкой категоризации и выбора графа
* [пользовательские схемы](https://docs.getdbt.tech/reference/resource-properties/schema.md) для разделения ваших моделей по нескольким схемам
* [алиасы](https://docs.getdbt.tech/reference/resource-configs/alias.md), если имя вашего представление/таблица должно отличаться от имени файла
* Фрагменты SQL, которые выполняются в начале или в конце модели, известные как [хуки](https://docs.getdbt.tech/docs/build/hooks-operations.md)
* Конфигурации, специфичные для хранилища, для повышения производительности (например, ключи `sort` и `dist` на Redshift, `partitions` на BigQuery)

Ознакомьтесь с документацией по [конфигурациям моделей](https://docs.getdbt.tech/reference/model-configs.md), чтобы узнать больше.

## Удаление примерных моделей

Теперь вы можете удалить файлы, которые dbt создал при инициализации проекта:

1. Удалите директорию `models/example/`.

2. Удалите ключ `example:` из вашего файла `dbt_project.yml`, а также любые конфигурации, которые перечислены под ним.

   dbt\_project.yml

   ```yaml
   # до
   models:
     jaffle_shop:
       +materialized: table
       example:
         +materialized: view
   ```

   dbt\_project.yml

   ```yaml
   # после
   models:
     jaffle_shop:
       +materialized: table
   ```

3. Сохраните изменения.

#### Часто задаваемые вопросы

Как удалить удаленные модели из моего хранилища данных?

Если вы удаляете модель из вашего dbt проекта, dbt не удаляет автоматически связь из вашей схемы. Это означает, что в схемах, которые создает dbt, могут остаться лишние объекты, что может запутать других пользователей.

(Это также может произойти, когда вы переключаете модель с представление или таблица на эфемерную)

Когда вы удаляете модели из вашего dbt проекта, вам следует вручную удалить связанные связи из вашей схемы.

Я получил сообщение об ошибке "неиспользуемые конфигурации модели", что это значит?

Возможно, вы забыли вложить ваши конфигурации под именем вашего проекта, или вы пытаетесь применить конфигурации к директории, которая не существует.

Ознакомьтесь с этой [статьей](https://discourse.getdbt.com/t/faq-i-got-an-unused-model-configurations-error-message-what-does-this-mean/112), чтобы понять больше.

## Построение моделей на основе других моделей

Как лучшая практика в SQL, следует разделять логику, которая очищает ваши данные, от логики, которая трансформирует ваши данные. Вы уже начали делать это в существующем запросе, используя общие табличные выражения (CTE).

Теперь вы можете поэкспериментировать, разделив логику на отдельные модели и используя функцию [ref](https://docs.getdbt.tech/reference/dbt-jinja-functions/ref.md) для построения моделей на основе других моделей:

[![Граф, который мы хотим для нашего проекта dbt](/img/dbt-dag.png?v=2 "Граф, который мы хотим для нашего проекта dbt")](#)Граф, который мы хотим для нашего проекта dbt

1. Создайте новый SQL файл, `models/stg_customers.sql`, с SQL из CTE `customers` в нашем оригинальном запросе.

2. Создайте второй новый SQL файл, `models/stg_orders.sql`, с SQL из CTE `orders` в нашем оригинальном запросе.

   models/stg\_customers.sql

   ```sql
   select
       id as customer_id,
       first_name,
       last_name

   from `dbt-tutorial`.jaffle_shop.customers
   ```

   models/stg\_orders.sql

   ```sql
   select
       id as order_id,
       user_id as customer_id,
       order_date,
       status

   from `dbt-tutorial`.jaffle_shop.orders
   ```

3. Отредактируйте SQL в вашем файле `models/customers.sql` следующим образом:

   models/customers.sql

   ```sql
   with customers as (

       select * from {{ ref('stg_customers') }}

   ),

   orders as (

       select * from {{ ref('stg_orders') }}

   ),

   customer_orders as (

       select
           customer_id,

           min(order_date) as first_order_date,
           max(order_date) as most_recent_order_date,
           count(order_id) as number_of_orders

       from orders

       group by 1

   ),

   final as (

       select
           customers.customer_id,
           customers.first_name,
           customers.last_name,
           customer_orders.first_order_date,
           customer_orders.most_recent_order_date,
           coalesce(customer_orders.number_of_orders, 0) as number_of_orders

       from customers

       left join customer_orders using (customer_id)

   )

   select * from final
   ```

4. Выполните `dbt run`.

   На этот раз, когда вы выполнили `dbt run`, были созданы отдельные представления/таблицы для `stg_customers`, `stg_orders` и `customers`. dbt определил порядок выполнения этих моделей. Поскольку `customers` зависит от `stg_customers` и `stg_orders`, dbt строит `customers` последним. Вам не нужно явно определять эти зависимости.

## Построение моделей поверх источников данных

Источники позволяют задавать имена и описывать данные, загруженные в ваш хранилище с помощью инструментов извлечения и загрузки (extract & load). Объявляя эти таблицы как источники в dbt, вы можете:

* выбирать данные из исходных таблиц в своих моделях с помощью функции `{{ source() }}`, что помогает определить lineage (происхождение и зависимости) ваших данных
* проверять свои предположения о данных в источниках
* вычислять актуальность (freshness) данных в источниках

1. Создайте новый YML-файл `models/sources.yml`.

2. Объявите источники, скопировав следующий код в файл и нажав **Save**.

   models/sources.yml

   ```yml

   sources:
       - name: jaffle_shop
         description: This is a replica of the Postgres database used by our app
         database: dbt-tutorial
         schema: jaffle_shop
         tables:
             - name: customers
               description: One record per customer.
             - name: orders
               description: One record per order. Includes cancelled and deleted orders.
   ```

3. Отредактируйте файл `models/stg_customers.sql`, чтобы выбирать данные из таблицы `customers` источника `jaffle_shop`.

   models/stg\_customers.sql

   ```sql
   select
       id as customer_id,
       first_name,
       last_name

   from {{ source('jaffle_shop', 'customers') }}
   ```

4. Отредактируйте файл `models/stg_orders.sql`, чтобы выбирать данные из таблицы `orders` источника `jaffle_shop`.

   models/stg\_orders.sql

   ```sql
   select
       id as order_id,
       user_id as customer_id,
       order_date,
       status

   from {{ source('jaffle_shop', 'orders') }}
   ```

5. Выполните команду `dbt run`.

   Результаты выполнения `dbt run` будут точно такими же, как и на предыдущем шаге. Модели `stg_customers` и `stg_orders` по‑прежнему будут обращаться к тем же самым исходным данным в BigQuery. Однако использование `source` позволяет тестировать и документировать «сырые» данные, а также лучше понимать lineage ваших источников данных.

#### Частые вопросы

Как запустить одну модель за раз?

Чтобы запустить одну модель, используйте флаг `--select` (или флаг `-s`), указав имя модели:

```shell
$ dbt run --select customers
```

Ознакомьтесь с [документацией по синтаксису выбора моделей](https://docs.getdbt.tech/reference/node-selection/syntax.md) для получения информации о других операторах и примерах.

Должны ли имена ресурсов, используемых в ref, быть уникальными?

В рамках одного проекта: да! Чтобы построить зависимости между ресурсами (такими как модели, семена и снимки), вам нужно использовать функцию `ref` и передать в нее имя ресурса в качестве аргумента. dbt использует это имя ресурса для уникального разрешения `ref` на конкретный ресурс. В результате, эти имена ресурсов должны быть уникальными, *даже если они находятся в разных папках*.

Ресурс в одном проекте может иметь то же имя, что и ресурс в другом проекте (установленном как зависимость). dbt использует имя проекта для уникальной идентификации каждого ресурса. Мы называем это "пространством имен". Если вы используете `ref` для ресурса с дублированным именем, он будет разрешен в ресурс в том же пространстве имен (пакет или проект) или вызовет ошибку из-за неоднозначной ссылки. Используйте [двухаргументный `ref`](https://docs.getdbt.tech/reference/dbt-jinja-functions/ref.md#ref-project-specific-models) для устранения неоднозначности ссылок, указав пространство имен.

Эти ресурсы все равно должны размещаться в разных местах в хранилище данных. Прочтите документацию по [пользовательским псевдонимам](https://docs.getdbt.tech/docs/build/custom-aliases.md) и [пользовательским схемам](https://docs.getdbt.tech/docs/build/custom-schemas.md) для получения подробной информации о том, как этого добиться.

Как я создаю больше моделей, как мне организовать мой проект? Как мне назвать мои модели?

Нет единственного лучшего способа структурировать проект! Каждая организация уникальна.

Если вы только начинаете, ознакомьтесь с тем, как мы (dbt Labs) [структурируем наши dbt проекты](https://docs.getdbt.tech/best-practices/how-we-structure/1-guide-overview.md).

## Добавьте тесты к вашим моделям

Добавление [data tests](https://docs.getdbt.tech/docs/build/data-tests.md) в проект помогает убедиться, что ваши модели работают корректно.

Чтобы добавить data tests в проект:

1. Создайте новый YAML-файл в директории `models`, назвав его `models/schema.yml`.

2. Добавьте в файл следующее содержимое:

   models/schema.yml

   ```yaml
   version: 2

   models:
     - name: customers
       columns:
         - name: customer_id
           data_tests:
             - unique
             - not_null

     - name: stg_customers
       columns:
         - name: customer_id
           data_tests:
             - unique
             - not_null

     - name: stg_orders
       columns:
         - name: order_id
           data_tests:
             - unique
             - not_null
         - name: status
           data_tests:
             - accepted_values:
                 arguments: # available in v1.10.5 and higher. Older versions can set the <argument_name> as the top-level property.
                   values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']
         - name: customer_id
           data_tests:
             - not_null
             - relationships:
                 arguments:
                   to: ref('stg_customers')
                   field: customer_id
   ```

3. Запустите `dbt test` и убедитесь, что все ваши тесты прошли успешно.

Когда вы запускаете `dbt test`, dbt проходит по вашим YAML-файлам и создает запрос для каждого теста. Каждый запрос вернет количество записей, которые не прошли тест. Если это число равно 0, то тест считается успешным.

#### Часто задаваемые вопросы

Какие тесты доступны для использования в dbt? Могу ли я добавить свои собственные тесты?

«Из коробки» dbt поставляется со следующими тестами данных:

* `unique`
* `not_null`
* `accepted_values`
* `relationships` (например, ссылочная целостность)

Вы также можете написать собственные [пользовательские универсальные тесты](https://docs.getdbt.tech/docs/build/data-tests.md#generic-data-tests).

Дополнительные универсальные тесты с открытым исходным кодом доступны в [пакете dbt-utils](https://github.com/dbt-labs/dbt-utils#generic-tests). Ознакомьтесь с документацией по [пакетам](https://docs.getdbt.tech/docs/build/packages.md), чтобы узнать, как использовать эти тесты в вашем проекте.

Как протестировать одну модель за раз?

Запуск тестов для одной модели очень похож на запуск самой модели: используйте флаг `--select` (или флаг `-s`), за которым следует имя модели:

```shell
dbt test --select customers
```

Ознакомьтесь с [документацией по синтаксису выбора моделей](https://docs.getdbt.tech/reference/node-selection/syntax.md) для полного синтаксиса, и [примерами выбора тестов](https://docs.getdbt.tech/reference/node-selection/test-selection-examples.md) в частности.

Один из моих тестов не прошел, как я могу его отладить?

Чтобы отладить неудачный тест, найдите SQL, который выполнил dbt, следующим образом:

* dbt:

  * В результатах тестирования нажмите на тест, завершившийся с ошибкой, а затем выберите «Details».

* dbt v1:

  * Откройте файл по пути, указанному в сообщении об ошибке.
  * Перейдите в каталог `target/compiled/schema_tests`, где находятся все скомпилированные SQL-запросы тестов.

Скопируйте SQL-код в редактор запросов (в dbt его можно вставить в новый `Statement`) и выполните запрос, чтобы найти записи, не прошедшие тест.

Должен ли мой файл с тестами называться \`schema.yml\`?

Нет! Вы можете назвать этот файл как угодно (включая `whatever_you_want.yml`), при условии, что:

* Файл находится в вашем каталоге `models/`¹
* Файл имеет расширение `.yml`

Посмотрите [документацию](https://docs.getdbt.tech/reference/configs-and-properties.md) для получения дополнительной информации.

¹Если вы объявляете свойства для seeds, snapshots или macros, вы также можете разместить этот файл в соответствующем каталоге — `seeds/`, `snapshots/` и `macros/` соответственно.

Почему файлы YAML для моделей и источников всегда начинаются с \`version: 2\`?

Когда‑то структура этих файлов `.yml` была совсем другой (привет всем, кто пользовался dbt в те времена!). Добавление `version: 2` позволило нам сделать эту структуру более расширяемой.

Начиная с [dbt v1.5](<https://docs.getdbt.tech/docs/dbt-versions/dbt-upgrade/Older versions/upgrading-to-v1.5/.md#quick-hits>), ключ `version:` верхнего уровня необязателен во всех YAML-файлах ресурсов. Если он указан, поддерживается только значение `version: 2`.

Также, начиная с версии 1.5, и [`config-version: 2`](https://docs.getdbt.tech/reference/project-configs/config-version.md), и ключ верхнего уровня `version:` в файле `dbt_project.yml` являются необязательными.

В настоящее время ресурсные YAML‑файлы не требуют наличия этой настройки. Если она указана, мы поддерживаем только `version: 2`. Хотя мы не ожидаем в ближайшее время обновлять YAML‑файлы до `version: 3`, наличие этой конфигурации упростит для нас внедрение новых структур в будущем.

Какие тесты данных стоит добавить в проект?

Мы рекомендуем, чтобы у каждой модели был data test на первичный ключ, то есть на колонку, которая является `unique` и `not_null`.

Мы также рекомендуем тестировать любые предположения о ваших исходных данных. Например, если вы считаете, что ваши платежи могут быть только одним из трех методов оплаты, вы должны регулярно проверять это предположение — новый метод оплаты может привести к логическим ошибкам в вашем SQL.

В продвинутых проектах dbt мы рекомендуем использовать [sources](https://docs.getdbt.tech/docs/build/sources.md) и запускать эти тесты целостности данных источника против источников, а не моделей.

Когда следует запускать data tests?

Вам следует запускать data tests каждый раз, когда вы пишете новый код (чтобы убедиться, что изменения в SQL не сломали существующие модели), а также каждый раз, когда вы запускаете трансформации в production (чтобы убедиться, что ваши предположения о исходных данных по‑прежнему верны).

## Документируйте ваши модели

Добавление [документации](https://docs.getdbt.tech/docs/build/documentation.md) в ваш проект позволяет подробно описывать ваши модели и делиться этой информацией с вашей командой. Здесь мы добавим базовую документацию в наш проект.

Обновите файл `models/schema.yml`, добавив описания, например приведённые ниже.

models/schema.yml

```yaml
version: 2

models:
  - name: customers
    description: Одна запись на каждого клиента
    columns:
      - name: customer_id
        description: Первичный ключ
        data_tests:
          - unique
          - not_null
      - name: first_order_date
        description: NULL, если клиент еще не сделал заказ.

  - name: stg_customers
    description: Эта модель очищает данные о клиентах
    columns:
      - name: customer_id
        description: Первичный ключ
        data_tests:
          - unique
          - not_null

  - name: stg_orders
    description: Эта модель очищает данные о заказах
    columns:
      - name: order_id
        description: Первичный ключ
        data_tests:
          - unique
          - not_null
      - name: status
        data_tests:
          - accepted_values:
              arguments: # available in v1.10.5 and higher. Older versions can set the <argument_name> as the top-level property.
                values: ['placed', 'shipped', 'completed', 'return_pending', 'returned']
      - name: customer_id
        data_tests:
          - not_null
          - relationships:
              arguments:
                to: ref('stg_customers')
                field: customer_id
```

### View in Catalog

[Catalog](https://docs.getdbt.tech/docs/explore/explore-projects.md) предоставляет мощные инструменты для работы с вашими проектами dbt, в том числе с документацией:

1. Выполните одну из следующих команд:

   * `dbt docs generate`, если вы используете dbt v1
   * `dbt build`, если вы используете dbt v2

2. Нажмите **Catalog** в меню навигации, чтобы открыть Catalog.

3. По умолчанию Catalog отображает среду **Production**. Если в вашей учетной записи есть дополнительные среды (например, **Staging**), вы можете выбрать их в раскрывающемся списке сред.

[![Выбор среды в Catalog.](/img/docs/collaborate/dbt-explorer/catalog-nav-dropdown.png?v=2 "Выбор среды в Catalog.")](#)Выбор среды в Catalog.

4. Выберите свой проект в дереве файлов.
5. Используйте строку поиска или просмотрите список ресурсов, чтобы найти модель `customers`.
6. Нажмите на модель, чтобы просмотреть сведения о ней, включая добавленные вами описания.

[![Просмотр документации модели и графа зависимостей в Catalog.](/img/docs/collaborate/dbt-explorer/example-model-details.png?v=2 "Просмотр документации модели и графа зависимостей в Catalog.")](#)Просмотр документации модели и графа зависимостей в Catalog.

Catalog отображает описание вашей модели, документацию столбцов, тесты данных и граф зависимостей. Вы также можете видеть, для каких столбцов отсутствует документация, и отслеживать покрытие тестами во всем проекте.

### View in Studio IDE

Вы можете просматривать документацию непосредственно в IDE, если используете **v1 Latest** или другую версию dbt v1. Обратите внимание: это устаревший режим просмотра, который не обеспечивает такой же уровень интерактивности, как Catalog.

1. В IDE выполните `dbt docs generate`.
2. На панели навигации нажмите значок **View docs**, расположенный справа от **имени ветки**.

   [![Значок View docs в Studio IDE.](/img/docs/collaborate/dbt-explorer/docs-icon.png?v=2 "Значок View docs в Studio IDE.")](#)Значок View docs в Studio IDE.
3. В разделе **Projects** выберите имя своего проекта и разверните папки.
4. Нажмите **models** > **marts** > **customers**.

[![Просмотр документации модели в устаревшем режиме просмотра документации.](/img/docs/collaborate/dbt-explorer/legacy-docs-view.png?v=2 "Просмотр документации модели в устаревшем режиме просмотра документации.")](#)Просмотр документации модели в устаревшем режиме просмотра документации.

#### Часто задаваемые вопросы

Как писать развернутые объяснения в описаниях?

Если для описания модели вам нужно больше одного предложения, вы можете:

1. Разбить описание на несколько строк с помощью `>`. Переносы строк внутри описания удаляются, при этом можно использовать Markdown. Этот способ рекомендуется для простых описаний из одного абзаца:

```yml
models:
  - name: customers
    description: >
      Lorem ipsum **dolor** sit amet, consectetur adipisicing elit, sed do eiusmod
      tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam,
      quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo
      consequat.
```

2. Разбейте описание на несколько строк с помощью `|`. Внутренние переносы строк сохраняются, и можно использовать Markdown. Этот способ рекомендуется для более сложных описаний:

```yml
models:
  - name: customers
    description: |
      ### Lorem ipsum

      * dolor sit amet, consectetur adipisicing elit, sed do eiusmod
      * tempor incididunt ut labore et dolore magna aliqua.
```

3. Использовать [блок docs](https://docs.getdbt.tech/docs/build/documentation.md#using-docs-blocks), чтобы написать описание в отдельном Markdown файле.

Как получить доступ к документации в dbt Catalog?

Если вы используете dbt для развертывания проекта и у вас [тарифный план Starter, Enterprise или Enterprise+](https://www.getdbt.com/pricing/), вы можете использовать Catalog для просмотра [ресурсов](https://docs.getdbt.tech/docs/build/projects.md) проекта (таких как модели, тесты и метрики) и их происхождения и связей, чтобы лучше понимать текущее состояние проекта в промышленной среде.

Чтобы открыть Catalog в dbt, нажмите ссылку **Catalog** в меню навигации. Пользователи с доступом только для чтения могут просматривать документацию вашего проекта — сведения о доступности лицензий в зависимости от тарифного плана см. на странице [тарифов dbt](https://www.getdbt.com/pricing).

Пользователи тарифного плана Developer в dbt и пользователи dbt v1 могут использовать [dbt Docs](https://docs.getdbt.tech/docs/explore/build-and-view-your-docs.md?version=1.12#dbt-docs): этот инструмент создает базовую документацию, но не обеспечивает такую же скорость работы, объем метаданных и наглядность, как Catalog.

## Зафиксируйте изменения

Теперь, когда вы построили модель `customers`, нужно закоммитить внесённые в проект изменения, чтобы в репозитории оказался ваш актуальный код.

**Если вы вносили изменения непосредственно в защищённую основную ветку:**<br />

1. Нажмите кнопку **Commit and sync git**. Это действие подготовит ваши изменения к коммиту.
2. Появится модальное окно с заголовком **Commit to a new branch**.
3. В модальном окне задайте новой ветке имя `add-customers-model`. Будет создана ветка от вашей основной ветки с внесёнными изменениями.
4. Добавьте сообщение коммита, например «Добавлена модель customers, тесты и документация», и создайте коммит с вашими изменениями.
5. Нажмите **Merge this branch to main**, чтобы добавить эти изменения в ветку main вашего репозитория.

**Если вы создали новую ветку до редактирования:**<br />

1. Поскольку вы уже ответвились от защищённой основной ветки, слева перейдите в **Version Control**.
2. Нажмите **Commit and sync**, чтобы добавить сообщение.
3. Добавьте сообщение коммита, например «Добавить модель customers, тесты и документацию».
4. Нажмите **Merge this branch to main**, чтобы добавить эти изменения в ветку main вашего репозитория.

## Разверните dbt

Используйте планировщик dbt, чтобы уверенно запускать задания в продакшене и обеспечивать наблюдаемость ваших процессов. Далее вы узнаете, как создать среду развертывания и запустить задание.

### Создайте окружение развертывания (deployment environment)

1. В главном меню перейдите в **Orchestration** > **Environments**.
2. Нажмите **Create environment**.
3. В поле **Name** введите имя среды развертывания. Например, "Production".
4. В поле **dbt version** по умолчанию выбрана последняя доступная версия. Мы рекомендуем использовать последнюю версию dbt для всех новых проектов.
5. В разделе **Deployment connection** введите имя набора данных, который вы хотите использовать в качестве целевого, например "Analytics". Это позволит dbt создавать объекты в этом наборе данных и работать с ним. В некоторых хранилищах данных целевой набор данных может называться «схемой».
6. Нажмите **Save**.

### Создайте и запустите job

Jobs — это набор команд dbt, которые вы хотите запускать по расписанию. Например, `dbt build`.

По мере того как бизнес `jaffle_shop` получает больше клиентов, а эти клиенты создают больше заказов, в исходных данных будет появляться больше записей. Поскольку вы материализовали модель `customers` как таблицу, вам нужно периодически пересобирать её, чтобы данные оставались актуальными. Это обновление будет происходить при запуске job.

1. После создания окружения развертывания вы должны попасть на страницу нового окружения. Если нет — в главном меню выберите **Orchestration**, затем нажмите **Jobs**.
2. Нажмите **Create job** > **Deploy job**.
3. Укажите имя job (например, «Production run») и выберите окружение, которое вы только что создали.
4. Прокрутите вниз до раздела **Execution settings**.
5. В разделе **Commands** добавьте эту команду как часть job, если её нет:
   * `dbt build`
6. (Версии dbt: v2.0 и новее) Добавлять шаг создания документации не нужно. При каждом запуске задания метаданные вашего проекта в [Catalog](https://docs.getdbt.tech/docs/explore/build-and-view-your-docs.md) обновляются автоматически.
7. В этом упражнении *не* задавайте расписание запуска проекта — хотя проект вашей организации должен запускаться регулярно, для этого примера запуск по расписанию не нужен. Настройку запуска задания по расписанию иногда называют *развёртыванием проекта*.
8. Нажмите **Save**, затем нажмите **Run now**, чтобы запустить задание.
9. Нажмите на запуск и следите за его ходом в разделе **Run summary**.
10. После завершения запуска (Версии dbt: v2.0 и новее) нажмите **Catalog** на панели навигации, чтобы изучить свой проект.

Поздравляем 🎉! Вы только что развернули свой первый dbt‑проект!

#### Часто задаваемые вопросы

Что произойдет, если один из моих запусков завершится неудачей?

Если вы используете dbt, рекомендуем настроить уведомления по электронной почте и в Slack (`Account Settings > Notifications`) о любых неудачных запусках. Затем отлаживайте эти запуски так же, как и любые запуски в среде разработки.

Подключите свой ИИ-инструмент к этому проекту

Теперь, когда ваш проект настроен и работает, подключите к нему свой ИИ-инструмент (например, Claude или ChatGPT) через [dbt MCP server](https://docs.getdbt.tech/docs/dbt-ai/about-mcp.md?section=qs-connect-ai), чтобы задавать вопросы о моделях на естественном языке. Описания, тесты и семантические модели помогут сделать его ответы ещё лучше.
