# Airflow и dbt

[Назад к гайдам](https://docs.getdbt.tech/guides.md)

[Menu ]()



## Введение

Многие организации уже используют [Airflow](https://airflow.apache.org/) для оркестрации рабочих процессов обработки данных. dbt отлично работает с Airflow, позволяя выполнять код dbt в dbt, оставляя задачи оркестрации за Airflow. Это обеспечивает доступность и актуальность метаданных вашего проекта (важных для таких инструментов, как Catalog), при этом сохраняя возможность использовать Airflow для общих задач, таких как:

* Планирование других процессов вне запусков dbt
* Обеспечение запуска [задания dbt](https://docs.getdbt.tech/docs/deploy/job-scheduler.md) до или после другого процесса вне dbt
* Запуск задания dbt только после завершения другого задания

В этом руководстве вы узнаете, как:

1. Создать рабочее локальное окружение Airflow
2. Запустить задание dbt с помощью Airflow
3. Повторно использовать проверенный и надёжный код Airflow для ваших конкретных сценариев использования

Вы также лучше поймете, как это поможет:

* Снизить когнитивную нагрузку при создании и поддержке конвейеров
* Избежать проблем с зависимостями (например, конфликтов `pip install`)
* Определить более четкую передачу рабочих процессов между инженерами данных и аналитическими инженерами

## Предварительные требования

* [Учетная запись dbt platform Enterprise или Enterprise+](https://www.getdbt.com/pricing/) (с [правами администратора](https://docs.getdbt.tech/docs/platform/manage-access/enterprise-permissions.md)) для создания служебного токена. Сведения о разрешениях для служебных токенов доступны [здесь](https://docs.getdbt.tech/docs/dbt-apis/service-tokens.md#permissions-for-service-account-tokens).
* Токен служебной учетной записи, если у вас есть [лицензия Developer (с правами администратора)](https://docs.getdbt.tech/docs/platform/manage-access/enterprise-permissions.md)). Сведения о разрешениях для служебных токенов доступны [здесь](https://docs.getdbt.tech/docs/dbt-apis/service-tokens.md#permissions-for-service-account-tokens) и [здесь](https://docs.getdbt.tech/docs/platform/manage-access/seats-and-users.md?version=2.0).
* [Персональный токен доступа (PAT)](https://docs.getdbt.com/docs/dbt-apis/user-tokens#create-a-personal-access-token), если у вас есть лицензия Developer, IT или Read-only.
* [Бесплатная учетная запись Docker](https://hub.docker.com/signup) для входа в Docker Desktop, который будет установлен в ходе первоначальной настройки.
* Локальный электронный блокнот для временного копирования и вставки ключей API и URL-адресов

🙌 Давайте начнем! 🙌

## Установка Astro CLI

Astro — это управляемый программный сервис, который включает ключевые функции для команд, работающих с Airflow. Чтобы использовать Astro, мы установим Astro CLI, который предоставит нам доступ к полезным командам для работы с Airflow локально. Подробнее об Astro можно прочитать [здесь](https://docs.astronomer.io/astro/).

В этом примере мы используем Homebrew для установки Astro CLI. Следуйте инструкциям по установке Astro CLI для вашей операционной системы [здесь](https://docs.astronomer.io/astro/install-cli).

```bash
brew install astro
```

## Установка и запуск Docker Desktop

Docker позволяет нам развернуть среду со всеми приложениями и зависимостями, необходимыми для этого руководства.

Следуйте инструкциям [здесь](https://docs.docker.com/desktop/), чтобы установить Docker Desktop для вашей операционной системы. После установки Docker убедитесь, что он запущен для выполнения следующих шагов.

## Клонирование репозитория airflow-dbt-cloud

Откройте терминал и клонируйте [репозиторий airflow-dbt-cloud](https://github.com/dbt-labs/airflow-dbt-cloud). Он содержит примеры DAG для Airflow, которые вы будете использовать для оркестрации задания dbt. После клонирования перейдите в каталог проекта `airflow-dbt-cloud`.

```bash
git clone https://github.com/dbt-labs/airflow-dbt-cloud.git
cd airflow-dbt-cloud
```

Для получения дополнительной информации о клонировании репозиториев GitHub, обратитесь к разделу "[Клонирование репозитория](https://docs.github.com/en/repositories/creating-and-managing-repositories/cloning-a-repository)" в документации GitHub.

## Запуск контейнера Docker

1. Из директории `airflow-dbt-cloud`, которую вы клонировали и открыли на предыдущем шаге, выполните следующую команду, чтобы запустить ваше локальное развертывание Airflow:

   ```bash
   astro dev start
   ```

   Когда это завершится, вы должны увидеть сообщение, похожее на следующее:

   ```bash
   Airflow запускается! Это может занять несколько минут…

   Проект запущен! Все компоненты теперь доступны.

   Веб-сервер Airflow: http://localhost:8080
   База данных Postgres: localhost:5432/postgres
   Учетные данные по умолчанию для интерфейса Airflow: admin:admin
   Учетные данные по умолчанию для базы данных Postgres: postgres:postgres
   ```

2. Откройте интерфейс Airflow. Запустите ваш веб-браузер и перейдите по адресу для **веб-сервера Airflow** из вашего вывода выше (для нас это `http://localhost:8080`).

   Это приведет вас к вашей локальной инстанции Airflow. Вам нужно будет войти с **учетными данными по умолчанию**:

   * Имя пользователя: admin
   * Пароль: admin

[![Экран входа в Airflow](/img/guides/orchestration/airflow-and-dbt-platform/airflow-login.png?v=2 "Экран входа в Airflow")](#)Экран входа в Airflow

## Создайте сервисный токен dbt

[Создайте сервисный токен](https://docs.getdbt.tech/docs/dbt-apis/service-tokens.md) с правами `Job Admin` в dbt. Обязательно сохраните копию токена, так как позже вы не сможете получить к нему доступ.

В качестве альтернативы вы можете [создать PAT](https://docs.getdbt.tech/docs/dbt-apis/user-tokens.md#create-a-personal-access-token), если у вас есть лицензия Developer, IT или Read-only.

## Создайте задание dbt

[Создайте задание в своей учетной записи dbt](https://docs.getdbt.tech/docs/deploy/deploy-jobs.md#create-and-schedule-jobs), уделив особое внимание приведенным ниже пунктам.

* Настройте задание, указав все команды, которые нужно выполнить при его запуске. В этом примере кода Airflow запускает задание dbt и все его команды, а не указывает явно отдельные модели для запуска из Airflow.
* Убедитесь, что расписание **отключено**, поскольку для запуска мы будем использовать Airflow.
* После нажатия `save` в настройках задания обязательно скопируйте URL и сохраните его для дальнейшего использования. URL будет выглядеть примерно так:

```html
https://YOUR_ACCESS_URL/#/accounts/{account_id}/projects/{project_id}/jobs/{job_id}/
```

## Подключение dbt к Airflow

Теперь у вас есть всё необходимое для начала работы с Airflow + dbt. Пора **настроить подключение** и **запустить DAG в Airflow**, который запустит задание dbt.

1. В интерфейсе Airflow перейдите в раздел Admin и нажмите на **Connections**

[![Меню подключений Airflow](/img/guides/orchestration/airflow-and-dbt-platform/airflow-connections-menu.png?v=2 "Меню подключений Airflow")](#)Меню подключений Airflow

2. Нажмите на значок `+`, чтобы добавить новое подключение, затем откройте раскрывающийся список и найдите тип подключения dbt.

   [![Тип подключения](/img/guides/orchestration/airflow-and-dbt-platform/connection-type.png?v=2 "Тип подключения")](#)Тип подключения

3. Укажите данные подключения и идентификатор аккаунта dbt по умолчанию. Этот идентификатор находится в URL вашего аккаунта dbt после сегмента пути accounts (`/accounts/{YOUR_ACCOUNT_ID}`). Например, для аккаунта с идентификатором 16173 URL будет выглядеть так: `https://YOUR_ACCESS_URL/#/accounts/16173/projects/36467/jobs/65767/`

   [![Тип подключения](/img/guides/orchestration/airflow-and-dbt-platform/connection-type-configured.png?v=2 "Тип подключения")](#)Тип подключения

## Обновление заполнителей в примере кода

Добавьте свои `account_id` и `job_id` в файл Python [run\_dbt\_cloud\_job.py](https://github.com/dbt-labs/airflow-dbt-cloud/blob/main/dags/run_dbt_cloud_job.py).

Оба идентификатора содержатся в URL задания dbt, как показано в следующих фрагментах:

```python
# For the dbt Job URL https://YOUR_ACCESS_URL/#/accounts/16173/projects/36467/jobs/65767/
# The account_id is 16173 and the job_id is 65767
# Update lines 34 and 35
ACCOUNT_ID = "16173"
JOB_ID = "65767"
```

## Запуск DAG в Airflow

Включите DAG и запустите его. Убедитесь, что задание успешно выполнено после запуска.

[![DAG в Airflow](/img/guides/orchestration/airflow-and-dbt-platform/airflow-dag.png?v=2 "DAG в Airflow")](#)DAG в Airflow

Нажмите **Monitor Job Run**, чтобы открыть сведения о запуске в dbt.

[![Экземпляр запуска задачи](/img/guides/orchestration/airflow-and-dbt-platform/task-run-instance.png?v=2 "Экземпляр запуска задачи")](#)Экземпляр запуска задачи

## Очистка

В конце этого руководства убедитесь, что вы остановили ваш контейнер Docker. Когда вы закончите использовать Airflow, используйте следующую команду, чтобы остановить контейнер:

```bash
$ astrocloud dev stop

[+] Running 3/3
 ⠿ Container airflow-dbt-cloud_e3fe3c-webserver-1  Stopped    7.5s
 ⠿ Container airflow-dbt-cloud_e3fe3c-scheduler-1  Stopped    3.3s
 ⠿ Container airflow-dbt-cloud_e3fe3c-postgres-1   Stopped    0.3s
```

Чтобы убедиться, что развертывание остановлено, используйте следующую команду:

```bash
astrocloud dev ps
```

Это должно дать вам вывод, подобный этому:

```bash
Name                                    State   Ports
airflow-dbt-cloud_e3fe3c-webserver-1    exited
airflow-dbt-cloud_e3fe3c-scheduler-1    exited
airflow-dbt-cloud_e3fe3c-postgres-1     exited
```

## Часто задаваемые вопросы

### Как мы можем запускать конкретные подмножества DAG dbt в Airflow?

Поскольку DAG Airflow ссылается на задания dbt, ваши инженеры по аналитике могут взять на себя ответственность за настройку заданий в dbt.

Например, чтобы запускать одни модели ежечасно, а другие ежедневно, можно создать задания `Hourly Run` и `Daily Run`, использующие команды `dbt run --select tag:hourly` и `dbt run --select tag:daily` соответственно. После настройки в dbt эти задания можно добавить в качестве шагов в DAG Airflow, как показано в этом руководстве. Подробнее см. в нашей полной [документации по синтаксису выбора узлов](https://docs.getdbt.tech/reference/node-selection/syntax.md).

### Как я могу повторно запустить модели с точки сбоя?

Вы можете инициировать повторный запуск с точки сбоя с помощью конечной точки API `rerun`. См. документацию по [повторному запуску заданий](https://docs.getdbt.tech/docs/deploy/retry-jobs.md) для получения дополнительной информации.

### Должен ли Airflow запускать одно большое задание dbt или много заданий dbt?

Задания dbt наиболее эффективны, когда команда сборки содержит как можно больше моделей одновременно. Это связано с тем, что dbt управляет зависимостями между моделями и координирует их выполнение в порядке, что обеспечивает возможность выполнения ваших заданий в высоко параллельном режиме. Это также упрощает процесс отладки, когда модель не удается, и позволяет повторно запускать с точки сбоя.

Как явный пример, не рекомендуется иметь задание dbt для каждого отдельного узла в вашем DAG. Попробуйте объединить ваши шаги в соответствии с желаемой частотой выполнения или сгруппировать по отделам (финансы, маркетинг, успех клиентов и т.д.).

### Мы хотим запускать наши задания dbt после того, как наш инструмент загрузки данных (например, Fivetran) / конвейеры данных завершат загрузку данных. Есть ли какие-либо лучшие практики по этому поводу?

В реестре DAG Astronomer представлен пример рабочего процесса, объединяющего Fivetran, dbt и Census, [по этой ссылке](https://registry.astronomer.io/dags/fivetran-dbt_cloud-census/versions/3.0.0).

### Как настроить рабочий процесс CI/CD с Airflow?

### Как настроить CI/CD‑процесс с Airflow?

* [Непрерывная интеграция с dbt](https://docs.getdbt.tech/docs/deploy/continuous-integration.md)

* [Пример CI/CD от Astronomer](https://docs.astronomer.io/software/ci-cd/#example-cicd-workflow)

* [Непрерывная интеграция с](https://docs.getdbt.tech/docs/deploy/continuous-integration.md)

* [Пример CI/CD от Astronomer](https://docs.astronomer.io/software/ci-cd/#example-cicd-workflow)

* [Непрерывная интеграция с dbt Cloud](https://docs.getdbt.tech/docs/deploy/continuous-integration.md)

* [Пример CI/CD от Astronomer](https://docs.astronomer.io/software/ci-cd/#example-cicd-workflow)

### Может ли dbt динамически создавать задачи в DAG, как это делает Airflow?

Да, с помощью [функциональности Airflow для уведомлений по электронной почте и в Slack](https://www.astronomer.io/guides/error-notifications-in-airflow/) или [уведомлений dbt](https://docs.getdbt.tech/docs/deploy/job-notifications.md), которые поддерживают отправку по электронной почте и в Slack. Вы также можете создать [вебхук](https://docs.getdbt.tech/docs/deploy/webhooks.md).

Да — либо с помощью функциональности [email/Slack в Airflow](https://www.astronomer.io/guides/error-notifications-in-airflow/), либо с помощью [уведомлений ](https://docs.getdbt.tech/docs/deploy/job-notifications.md), которые поддерживают отправку уведомлений по email и в Slack. Также вы можете создать [webhook](https://docs.getdbt.tech/docs/deploy/webhooks.md).

### Как следует планировать внедрение dbt + Airflow?

### Как мне планировать реализацию dbt Cloud + Airflow?

Посмотрите [эту запись](https://www.youtube.com/watch?v=n7IIThR8hGk) встречи dbt для получения некоторых советов.
