Перейти к основному содержимому

Запуск оповещений PagerDuty при сбоях заданий dbt

Вебхуки
Продвинутый уровень
Menu

    Введение​

    Это руководство научит вас создавать и размещать простое приложение на Python, которое будет отслеживать задания dbt и создавать оповещения в PagerDuty при сбоях. Для этого после завершения задания dbt приложение будет:

    • Проверять наличие узлов, завершившихся с ошибкой (например, непройденных тестов или моделей с ошибками), и
    • создавать оповещение в PagerDuty на основе этих узлов, вызывая PagerDuty Events API. Дубликаты событий устраняются по идентификатору запуска.
    Снимок интерфейса PagerDuty с оповещением, созданным из-за некорректного SQL в модели dbtСнимок интерфейса PagerDuty с оповещением, созданным из-за некорректного SQL в модели dbt

    Скриншот интерфейса PagerDuty, показывающий тревогу, созданную из-за некорректного SQL в модели dbt

    В этом примере мы будем использовать fly.io для хостинга и запуска сервиса. fly.io — это платформа для запуска full stack‑приложений без необходимости настраивать серверы и управлять ими. Такой уровень использования должен без проблем укладываться в рамки бесплатного тарифа (Free tier).

    Вы также можете использовать альтернативные инструменты, например AWS Lambda или Google Cloud Run.

    Предварительные требования​

    Это руководство предполагает, что вы уже знакомы со следующим:

    Это руководство предполагает некоторое знакомство с:

    • Вебхуками dbt
    • CLI-приложениями
    • Развертыванием кода в бессерверной среде выполнения, такой как fly.io или AWS Lambda

    Клонирование репозитория dbt-cloud-webhooks-pagerduty​

    Этот репозиторий содержит пример кода для проверки вебхука и создания событий в PagerDuty.

    Установка flyctl и регистрация на fly.io​

    Следуйте инструкциям для вашей операционной системы в документации fly.io, затем выполните следующие команды в командной строке:

    Перейдите в каталог, содержащий клонированный вами репозиторий на шаге 1:

    #пример: замените на ваш фактический путь
    cd ~/Documents/GitHub/dbt-cloud-webhooks-pagerduty

    Зарегистрируйтесь на fly.io:

    flyctl auth signup

    Ваша консоль должна показать successfully logged in as YOUR_EMAIL после завершения, но если этого не произошло, войдите в fly.io из командной строки:

    flyctl auth login

    Запуск вашего приложения на fly.io​

    Запуск вашего приложения публикует его в интернете и делает его готовым к обработке событий вебхуков:

    flyctl launch

    Вы увидите сообщение о том, что найден существующий файл fly.toml. Введите y, чтобы скопировать его конфигурацию в ваше новое приложение.

    Выберите имя приложения по вашему выбору, например, YOUR_COMPANY-dbt-cloud-webhook-pagerduty, или оставьте поле пустым, и оно будет сгенерировано автоматически. Обратите внимание, что ваше имя может содержать только цифры, строчные буквы и дефисы.

    Выберите регион для развертывания и запомните сгенерированное имя хоста (обычно APP_NAME.fly.dev).

    Когда вас спросят, хотите ли вы настроить базы данных Postgresql или Redis, введите n для каждого.

    Введите y, когда вас спросят, хотите ли вы развернуть приложение сейчас.

    Пример вывода мастера настройки:

    joel@Joel-Labes dbt-cloud-webhooks-pagerduty % flyctl launch
    An existing fly.toml file was found for app dbt-cloud-webhooks-pagerduty
    ? Would you like to copy its configuration to the new app? Yes
    Creating app in /Users/joel/Documents/GitHub/dbt-cloud-webhooks-pagerduty
    Scanning source code
    Detected a Dockerfile app
    ? Choose an app name (leave blank to generate one): demo-dbt-cloud-webhook-pagerduty
    automatically selected personal organization: Joel Labes
    Some regions require a paid plan (fra, maa).
    See https://fly.io/plans to set up a plan.
    ? Choose a region for deployment: [Use arrows to move, type to filter]
    ? Choose a region for deployment: Sydney, Australia (syd)
    Created app dbtlabs-dbt-cloud-webhook-pagerduty in organization personal
    Admin URL: https://fly.io/apps/demo-dbt-cloud-webhook-pagerduty
    Hostname: demo-dbt-cloud-webhook-pagerduty.fly.dev
    ? Would you like to set up a Postgresql database now? No
    ? Would you like to set up an Upstash Redis database now? No
    Wrote config file fly.toml
    ? Would you like to deploy now? Yes

    Создание интеграционного приложения PagerDuty​

    См. руководство PagerDuty для получения полных инструкций.

    Запомните ключ интеграции для дальнейшего использования.

    Настройка нового вебхука в dbt​

    См. Создание подписки на вебхук для получения подробных инструкций. В качестве события укажите Run completed.

    Установите URL вебхука на имя хоста, которое вы создали ранее (APP_NAME.fly.dev).

    Запомните секретный ключ вебхука для дальнейшего использования.

    Не тестируйте конечную точку; это не сработает, пока вы не сохраните ключи аутентификации (следующий шаг).

    Сохранение секретов​

    Для работы приложения необходимо задать три секрета со следующими именами:

    Установите эти секреты следующим образом, заменив abc123 и т.д. на фактические значения:

    flyctl secrets set DBT_CLOUD_SERVICE_TOKEN=abc123 DBT_CLOUD_AUTH_TOKEN=def456 PD_ROUTING_KEY=ghi789

    Развертывание вашего приложения​

    После того как вы зададите секреты, fly.io повторно развернёт ваше приложение. Когда развёртывание успешно завершится, вернитесь к настройкам вебхука dbt и нажмите Test Endpoint.

    Нашли ошибку?

    0