Перейти к основному содержимому

Airflow и dbt

Платформа dbt
Оркестрация
Средний уровень
Menu

    Введение​

    Многие организации уже используют Airflow для оркестрации рабочих процессов обработки данных. dbt отлично работает с Airflow, позволяя выполнять код dbt в dbt, оставляя задачи оркестрации за Airflow. Это обеспечивает доступность и актуальность метаданных вашего проекта (важных для таких инструментов, как Catalog), при этом сохраняя возможность использовать Airflow для общих задач, таких как:

    • Планирование других процессов вне запусков dbt
    • Обеспечение запуска задания dbt до или после другого процесса вне dbt
    • Запуск задания dbt только после завершения другого задания

    В этом руководстве вы узнаете, как:

    1. Создать рабочее локальное окружение Airflow
    2. Запустить задание dbt с помощью Airflow
    3. Повторно использовать проверенный и надёжный код Airflow для ваших конкретных сценариев использования

    Вы также лучше поймете, как это поможет:

    • Снизить когнитивную нагрузку при создании и поддержке конвейеров
    • Избежать проблем с зависимостями (например, конфликтов pip install)
    • Определить более четкую передачу рабочих процессов между инженерами данных и аналитическими инженерами

    Предварительные требования​

    🙌 Давайте начнем! 🙌

    Установка Astro CLI​

    Astro — это управляемый программный сервис, который включает ключевые функции для команд, работающих с Airflow. Чтобы использовать Astro, мы установим Astro CLI, который предоставит нам доступ к полезным командам для работы с Airflow локально. Подробнее об Astro можно прочитать здесь.

    В этом примере мы используем Homebrew для установки Astro CLI. Следуйте инструкциям по установке Astro CLI для вашей операционной системы здесь.

    brew install astro

    Установка и запуск Docker Desktop​

    Docker позволяет нам развернуть среду со всеми приложениями и зависимостями, необходимыми для этого руководства.

    Следуйте инструкциям здесь, чтобы установить Docker Desktop для вашей операционной системы. После установки Docker убедитесь, что он запущен для выполнения следующих шагов.

    Клонирование репозитория airflow-dbt-cloud​

    Откройте терминал и клонируйте репозиторий airflow-dbt-cloud. Он содержит примеры DAG для Airflow, которые вы будете использовать для оркестрации задания dbt. После клонирования перейдите в каталог проекта airflow-dbt-cloud.

    git clone https://github.com/dbt-labs/airflow-dbt-cloud.git
    cd airflow-dbt-cloud

    Для получения дополнительной информации о клонировании репозиториев GitHub, обратитесь к разделу "Клонирование репозитория" в документации GitHub.

    Запуск контейнера Docker​

    1. Из директории airflow-dbt-cloud, которую вы клонировали и открыли на предыдущем шаге, выполните следующую команду, чтобы запустить ваше локальное развертывание Airflow:

      astro dev start

      Когда это завершится, вы должны увидеть сообщение, похожее на следующее:

      Airflow запускается! Это может занять несколько минут…

      Проект запущен! Все компоненты теперь доступны.

      Веб-сервер Airflow: http://localhost:8080
      База данных Postgres: localhost:5432/postgres
      Учетные данные по умолчанию для интерфейса Airflow: admin:admin
      Учетные данные по умолчанию для базы данных Postgres: postgres:postgres
    2. Откройте интерфейс Airflow. Запустите ваш веб-браузер и перейдите по адресу для веб-сервера Airflow из вашего вывода выше (для нас это http://localhost:8080).

      Это приведет вас к вашей локальной инстанции Airflow. Вам нужно будет войти с учетными данными по умолчанию:

      • Имя пользователя: admin
      • Пароль: admin
    Экран входа в AirflowЭкран входа в Airflow

    Создайте сервисный токен dbt​

    Создайте сервисный токен с правами Job Admin в dbt. Обязательно сохраните копию токена, так как позже вы не сможете получить к нему доступ.

    В качестве альтернативы вы можете создать PAT, если у вас есть лицензия Developer, IT или Read-only.

    Создайте задание dbt​

    Создайте задание в своей учетной записи dbt, уделив особое внимание приведенным ниже пунктам.

    • Настройте задание, указав все команды, которые нужно выполнить при его запуске. В этом примере кода Airflow запускает задание dbt и все его команды, а не указывает явно отдельные модели для запуска из Airflow.
    • Убедитесь, что расписание отключено, поскольку для запуска мы будем использовать Airflow.
    • После нажатия save в настройках задания обязательно скопируйте URL и сохраните его для дальнейшего использования. URL будет выглядеть примерно так:
    https://YOUR_ACCESS_URL/#/accounts/{account_id}/projects/{project_id}/jobs/{job_id}/

    Подключение dbt к Airflow​

    Теперь у вас есть всё необходимое для начала работы с Airflow + dbt. Пора настроить подключение и запустить DAG в Airflow, который запустит задание dbt.

    1. В интерфейсе Airflow перейдите в раздел Admin и нажмите на Connections
    Меню подключений AirflowМеню подключений Airflow
    1. Нажмите на значок +, чтобы добавить новое подключение, затем откройте раскрывающийся список и найдите тип подключения dbt.

      Тип подключенияТип подключения
    2. Укажите данные подключения и идентификатор аккаунта dbt по умолчанию. Этот идентификатор находится в URL вашего аккаунта dbt после сегмента пути accounts (/accounts/{YOUR_ACCOUNT_ID}). Например, для аккаунта с идентификатором 16173 URL будет выглядеть так: https://YOUR_ACCESS_URL/#/accounts/16173/projects/36467/jobs/65767/

      Тип подключенияТип подключения

    Обновление заполнителей в примере кода​

    Добавьте свои account_id и job_id в файл Python run_dbt_cloud_job.py.

    Оба идентификатора содержатся в URL задания dbt, как показано в следующих фрагментах:

    # For the dbt Job URL https://YOUR_ACCESS_URL/#/accounts/16173/projects/36467/jobs/65767/
    # The account_id is 16173 and the job_id is 65767
    # Update lines 34 and 35
    ACCOUNT_ID = "16173"
    JOB_ID = "65767"

    Запуск DAG в Airflow​

    Включите DAG и запустите его. Убедитесь, что задание успешно выполнено после запуска.

    DAG в AirflowDAG в Airflow

    Нажмите Monitor Job Run, чтобы открыть сведения о запуске в dbt.

    Экземпляр запуска задачиЭкземпляр запуска задачи

    Очистка​

    В конце этого руководства убедитесь, что вы остановили ваш контейнер Docker. Когда вы закончите использовать Airflow, используйте следующую команду, чтобы остановить контейнер:

    $ astrocloud dev stop

    [+] Running 3/3
    ⠿ Container airflow-dbt-cloud_e3fe3c-webserver-1 Stopped 7.5s
    ⠿ Container airflow-dbt-cloud_e3fe3c-scheduler-1 Stopped 3.3s
    ⠿ Container airflow-dbt-cloud_e3fe3c-postgres-1 Stopped 0.3s

    Чтобы убедиться, что развертывание остановлено, используйте следующую команду:

    astrocloud dev ps

    Это должно дать вам вывод, подобный этому:

    Name                                    State   Ports
    airflow-dbt-cloud_e3fe3c-webserver-1 exited
    airflow-dbt-cloud_e3fe3c-scheduler-1 exited
    airflow-dbt-cloud_e3fe3c-postgres-1 exited

    Часто задаваемые вопросы​

    Как мы можем запускать конкретные подмножества DAG dbt в Airflow?​

    Поскольку DAG Airflow ссылается на задания dbt, ваши инженеры по аналитике могут взять на себя ответственность за настройку заданий в dbt.

    Например, чтобы запускать одни модели ежечасно, а другие ежедневно, можно создать задания Hourly Run и Daily Run, использующие команды dbt run --select tag:hourly и dbt run --select tag:daily соответственно. После настройки в dbt эти задания можно добавить в качестве шагов в DAG Airflow, как показано в этом руководстве. Подробнее см. в нашей полной документации по синтаксису выбора узлов.

    Как я могу повторно запустить модели с точки сбоя?​

    Вы можете инициировать повторный запуск с точки сбоя с помощью конечной точки API rerun. См. документацию по повторному запуску заданий для получения дополнительной информации.

    Должен ли Airflow запускать одно большое задание dbt или много заданий dbt?​

    Задания dbt наиболее эффективны, когда команда сборки содержит как можно больше моделей одновременно. Это связано с тем, что dbt управляет зависимостями между моделями и координирует их выполнение в порядке, что обеспечивает возможность выполнения ваших заданий в высоко параллельном режиме. Это также упрощает процесс отладки, когда модель не удается, и позволяет повторно запускать с точки сбоя.

    Как явный пример, не рекомендуется иметь задание dbt для каждого отдельного узла в вашем DAG. Попробуйте объединить ваши шаги в соответствии с желаемой частотой выполнения или сгруппировать по отделам (финансы, маркетинг, успех клиентов и т.д.).

    Мы хотим запускать наши задания dbt после того, как наш инструмент загрузки данных (например, Fivetran) / конвейеры данных завершат загрузку данных. Есть ли какие-либо лучшие практики по этому поводу?​

    В реестре DAG Astronomer представлен пример рабочего процесса, объединяющего Fivetran, dbt и Census, по этой ссылке.

    Как настроить рабочий процесс CI/CD с Airflow?​

    Как настроить CI/CD‑процесс с Airflow?​

    Может ли dbt динамически создавать задачи в DAG, как это делает Airflow?​

    Да, с помощью функциональности Airflow для уведомлений по электронной почте и в Slack или уведомлений dbt, которые поддерживают отправку по электронной почте и в Slack. Вы также можете создать вебхук.

    Да — либо с помощью функциональности email/Slack в Airflow, либо с помощью уведомлений , которые поддерживают отправку уведомлений по email и в Slack. Также вы можете создать webhook.

    Как следует планировать внедрение dbt + Airflow?​

    Как мне планировать реализацию dbt Cloud + Airflow?​

    Посмотрите эту запись встречи dbt для получения некоторых советов.

    Нашли ошибку?

    0