Airflow и dbt
Введение
Многие организации уже используют Airflow для оркестрации рабочих процессов обработки данных. dbt отлично работает с Airflow, позволяя выполнять код dbt в dbt, оставляя задачи оркестрации за Airflow. Это обеспечивает доступность и актуальность метаданных вашего проекта (важных для таких инструментов, как Catalog), при этом сохраняя возможность использовать Airflow для общих задач, таких как:
- Планирование других процессов вне запусков dbt
- Обеспечение запуска задания dbt до или после другого процесса вне dbt
- Запуск задания dbt только после завершения другого задания
В этом руководстве вы узнаете, как:
- Создать рабочее локальное окружение Airflow
- Запустить задание dbt с помощью Airflow
- Повторно использовать проверенный и надёжный код Airflow для ваших конкретных сценариев использования
Вы также лучше поймете, как это поможет:
- Снизить когнитивную нагрузку при создании и поддержке конвейеров
- Избежать проблем с зависимостями (например, конфликтов
pip install) - Определить более четкую передачу рабочих процессов между инженерами данных и аналитическими инженерами
Предварительные требования
- Учетная запись dbt platform Enterprise или Enterprise+ (с правами администратора) для создания служебного токена. Сведения о разрешениях для служебных токенов доступны здесь.
- Токен служебной учетной записи, если у вас есть лицензия Developer (с правами администратора)). Сведения о разрешениях для служебных токенов доступны здесь и здесь.
- Персональный токен доступа (PAT), если у вас есть лицензия Developer, IT или Read-only.
- Бесплатная учетная запись Docker для входа в Docker Desktop, который будет установлен в ходе первоначальной настройки.
- Локальный электронный блокнот для временного копирования и вставки ключей API и URL-адресов
🙌 Давайте начнем! 🙌
Установка Astro CLI
Astro — это управляемый программный сервис, который включает ключевые функции для команд, работающих с Airflow. Чтобы использовать Astro, мы установим Astro CLI, который предоставит нам доступ к полезным командам для работы с Airflow локально. Подробнее об Astro можно прочитать здесь.
В этом примере мы используем Homebrew для установки Astro CLI. Следуйте инструкциям по установке Astro CLI для вашей операционной системы здесь.
brew install astro
Установка и запуск Docker Desktop
Docker позволяет нам развернуть среду со всеми приложениями и зависимостями, необходимыми для этого руководства.
Следуйте инструкциям здесь, чтобы установить Docker Desktop для вашей операционной системы. После установки Docker убедитесь, что он запущен для выполнения следующих шагов.
Клонирование репозитория airflow-dbt-cloud
Откройте терминал и клонируйте репозиторий airflow-dbt-cloud. Он содержит примеры DAG для Airflow, которые вы будете использовать для оркестрации задания dbt. После клонирования перейдите в каталог проекта airflow-dbt-cloud.
git clone https://github.com/dbt-labs/airflow-dbt-cloud.git
cd airflow-dbt-cloud
Для получения дополнительной информации о клонировании репозиториев GitHub, обратитесь к разделу "Клонирование репозитория" в документации GitHub.
Запуск контейнера Docker
-
Из директории
airflow-dbt-cloud, которую вы клонировали и открыли на предыдущем шаге, выполните следующую команду, чтобы запустить ваше локальное развертывание Airflow:astro dev startКогда это завершится, вы должны увидеть сообщение, похожее на следующее:
Airflow запускается! Это может занять несколько минут…
Проект запущен! Все компоненты теперь доступны.
Веб-сервер Airflow: http://localhost:8080
База данных Postgres: localhost:5432/postgres
Учетные данные по умолчанию для интерфейса Airflow: admin:admin
Учетные данные по умолчанию для базы данных Postgres: postgres:postgres -
Откройте интерфейс Airflow. Запустите ваш веб-браузер и перейдите по адресу для веб-сервера Airflow из вашего вывода выше (для нас это
http://localhost:8080).Это приведет вас к вашей локальной инстанции Airflow. Вам нужно будет войти с учетными данными по умолчанию:
- Имя пользователя: admin
- Пароль: admin
Создайте сервисный токен dbt
Создайте сервисный токен с правами Job Admin в dbt. Обязательно сохраните копию токена, так как позже вы не сможете получить к нему доступ.
В качестве альтернативы вы можете создать PAT, если у вас есть лицензия Developer, IT или Read-only.
Создайте задание dbt
Создайте задание в своей учетной записи dbt, уделив особое внимание приведенным ниже пунктам.
- Настройте задание, указав все команды, которые нужно выполнить при его запуске. В этом примере кода Airflow запускает задание dbt и все его команды, а не указывает явно отдельные модели для запуска из Airflow.
- Убедитесь, что расписание отключено, поскольку для запуска мы будем использовать Airflow.
- После нажатия
saveв настройках задания обязательно скопируйте URL и сохраните его для дальнейшего использования. URL будет выглядеть примерно так:
https://YOUR_ACCESS_URL/#/accounts/{account_id}/projects/{project_id}/jobs/{job_id}/
Подключение dbt к Airflow
Теперь у вас есть всё необходимое для начала работы с Airflow + dbt. Пора настроить подключение и запустить DAG в Airflow, который запустит задание dbt.
- В интерфейсе Airflow перейдите в раздел Admin и нажмите на Connections
-
Нажмите на значок
+, чтобы добавить новое подключение, затем откройте раскрывающийся список и найдите тип подключения dbt. -
Укажите данные подключения и идентификатор аккаунта dbt по умолчанию. Этот идентификатор находится в URL вашего аккаунта dbt после сегмента пути accounts (
/accounts/{YOUR_ACCOUNT_ID}). Например, для аккаунта с идентификатором 16173 URL будет выглядеть так:https://YOUR_ACCESS_URL/#/accounts/16173/projects/36467/jobs/65767/
Обновление заполнителей в примере кода
Добавьте свои account_id и job_id в файл Python run_dbt_cloud_job.py.
Оба идентификатора содержатся в URL задания dbt, как показано в следующих фрагментах:
# For the dbt Job URL https://YOUR_ACCESS_URL/#/accounts/16173/projects/36467/jobs/65767/
# The account_id is 16173 and the job_id is 65767
# Update lines 34 and 35
ACCOUNT_ID = "16173"
JOB_ID = "65767"
Запуск DAG в Airflow
Включите DAG и запустите его. Убедитесь, что задание успешно выполнено после запуска.
Нажмите Monitor Job Run, чтобы открыть сведения о запуске в dbt.
Очистка
В конце этого руководства убедитесь, что вы остановили ваш контейнер Docker. Когда вы закончите использовать Airflow, используйте следующую команду, чтобы остановить контейнер:
$ astrocloud dev stop
[+] Running 3/3
⠿ Container airflow-dbt-cloud_e3fe3c-webserver-1 Stopped 7.5s
⠿ Container airflow-dbt-cloud_e3fe3c-scheduler-1 Stopped 3.3s
⠿ Container airflow-dbt-cloud_e3fe3c-postgres-1 Stopped 0.3s
Чтобы убедиться, что развертывание остановлено, используйте следующую команду:
astrocloud dev ps
Это должно дать вам вывод, подобный этому:
Name State Ports
airflow-dbt-cloud_e3fe3c-webserver-1 exited
airflow-dbt-cloud_e3fe3c-scheduler-1 exited
airflow-dbt-cloud_e3fe3c-postgres-1 exited
Часто задаваемые вопросы
Как мы можем запускать конкретные подмножества DAG dbt в Airflow?
Поскольку DAG Airflow ссылается на задания dbt, ваши инженеры по аналитике могут взять на себя ответственность за настройку заданий в dbt.
Например, чтобы запускать одни модели ежечасно, а другие ежедневно, можно создать задания Hourly Run и Daily Run, использующие команды dbt run --select tag:hourly и dbt run --select tag:daily соответственно. После настройки в dbt эти задания можно добавить в качестве шагов в DAG Airflow, как показано в этом руководстве. Подробнее см. в нашей полной документации по синтаксису выбора узлов.
Как я могу повторно запустить модели с точки сбоя?
Вы можете инициировать повторный запуск с точки сбоя с помощью конечной точки API rerun. См. документацию по повторному запуску заданий для получения дополнительной информации.
Должен ли Airflow запускать одно большое задание dbt или много заданий dbt?
Задания dbt наиболее эффективны, когда команда сборки содержит как можно больше моделей одновременно. Это связано с тем, что dbt управляет зависимостями между моделями и координирует их выполнение в порядке, что обеспечивает возможность выполнения ваших заданий в высоко параллельном режиме. Это также упрощает процесс отладки, когда модель не удается, и позволяет повторно запускать с точки сбоя.
Как явный пример, не рекомендуется иметь задание dbt для каждого отдельного узла в вашем DAG. Попробуйте объединить ваши шаги в соответствии с желаемой частотой выполнения или сгруппировать по отделам (финансы, маркетинг, успех клиентов и т.д.).
Мы хотим запускать наши задания dbt после того, как наш инструмент загрузки данных (например, Fivetran) / конвейеры данных завершат загрузку данных. Есть ли какие-либо лучшие практики по этому поводу?
В реестре DAG Astronomer представлен пример рабочего процесса, объединяющего Fivetran, dbt и Census, по этой ссылке.
Как настроить рабочий процесс CI/CD с Airflow?
Как настроить CI/CD‑процесс с Airflow?
Может ли dbt динамически создавать задачи в DAG, как это делает Airflow?
Да, с помощью функциональности Airflow для уведомлений по электронной почте и в Slack или уведомлений dbt, которые поддерживают отправку по электронной почте и в Slack. Вы также можете создать вебхук.
Да — либо с помощью функциональности email/Slack в Airflow, либо с помощью уведомлений , которые поддерживают отправку уведомлений по email и в Slack. Также вы можете создать webhook.
Как следует планировать внедрение dbt + Airflow?
Как мне планировать реализацию dbt Cloud + Airflow?
Посмотрите эту запись встречи dbt для получения некоторых советов.





