Отправка сообщения в Microsoft Teams при завершении задания
Введение
В этом руководстве показано, как настроить интеграцию заданий dbt с Microsoft Teams с помощью вебхуков dbt и Zapier, аналогичную встроенной интеграции со Slack.
Если вам нужны только оповещения о статусе заданий в Microsoft Teams (например, «задание выполнено успешно / завершилось с ошибкой») и не требуется обрабатывать данные вебхуков, вместо этого можно использовать уведомления о заданиях, отправляя их на адрес электронной почты канала Teams (External Email).
См. раздел Уведомления о заданиях: Уведомления о заданиях
После завершения задания dbt интеграция выполнит следующие действия:
- Получит уведомление вебхука в Zapier,
- Извлечёт результаты из API администрирования dbt и
- Опубликует сводку в канале Microsoft Teams.
Предварительные требования
Для настройки интеграции вам потребуется знакомство со следующим:
Для настройки интеграции необходимо ознакомиться с:
- Вебхуками dbt
- Zapier
Настройка соединения между Zapier и Microsoft Teams
Примечание: Чтобы получать сообщения, добавьте приложение Zapier в канал команды во время установки.
Создание нового Zap в Zapier
Используйте Webhooks by Zapier в качестве триггера и Catch Raw Hook в качестве события. Если вы не собираетесь проверять подлинность вашего вебхука (не рекомендуется!), то можете выбрать Catch Hook вместо этого.
Нажмите Continue, затем скопируйте URL вебхука.
3. Настройте новый вебхук в dbt
См. Создание подписки на вебхук для получения полных инструкций. Выберите либо Run completed, либо Run errored, но не оба, иначе вы получите двойные сообщения, когда выполнение завершится с ошибкой.
Запомните секретный ключ вебхука для дальнейшего использования.
После того как вы протестируете эндпоинт в dbt, вернитесь в Zapier и нажмите Test Trigger. Это создаст пример тела вебхука на основе тестового события, отправленного dbt.
Значения в примере тела жестко закодированы и не отражают ваш проект, но они дают Zapier правильно сформированный объект во время разработки.
Хранение секретов
На следующем шаге вам понадобятся секретный ключ вебхука из предыдущего шага и персональный токен доступа или токен сервисной учётной записи dbt.
Zapier позволяет хранить секреты, что предотвращает отображение ваших ключей в открытом виде в коде Zap. Вы сможете получить к ним доступ через утилиту StoreClient.
В этом гайде предполагается, что имена secret key: DBT_CLOUD_SERVICE_TOKEN и DBT_WEBHOOK_KEY. Если вы используете другие имена, убедитесь, что обновили все ссылки на них в примере кода.
В этом гайде используется временный шаг Code action для сохранения секретов, но вы также можете использовать инструмент вроде Postman, чтобы взаимодействовать с REST API, или создать отдельный Zap и вызвать Set Value Action.
a. Создайте подключение Storage by Zapier
Если у вас его ещё нет, перейдите на https://zapier.com/app/connections/storage и создайте новое подключение. Запомните UUID‑секрет, который вы сгенерируете — он понадобится позже.
b. Добавьте временный шаг с кодом
В качестве Event выберите Run Python. Запустите следующий код:
store = StoreClient('abc123') #замените на ваш UUID‑секрет
store.set('DBT_WEBHOOK_KEY', 'abc123') #замените на webhook‑секрет
store.set('DBT_CLOUD_SERVICE_TOKEN', 'abc123') #замените на ваш dbt API token
Протестируйте шаг. Когда тест пройдёт успешно, вы можете удалить этот Action. Значение ключа останется сохранённым, пока к нему обращаются хотя бы один раз в три месяца.
Добавление действия кода
Выберите Code by Zapier в качестве приложения и Run Python в качестве события.
В области Set up action добавьте два элемента в Input Data: raw_body и auth_header. Свяжите их с полями 1. Raw Body и 1. Headers Http Authorization из шага Catch Raw Hook выше.
В поле Code вставьте следующий код, заменив YOUR_SECRET_HERE секретом, который вы создали при настройке интеграции Storage by Zapier. Помните, что это не ваш секрет dbt.
Приведённый ниже код проверит подлинность запроса, получит журналы запуска завершённого задания через Admin API, а затем сформирует сводное сообщение, извлекая все сообщения об ошибках из журналов, которые dbt создаёт в конце выполнения.
import hashlib
import hmac
import json
import re
auth_header = input_data['auth_header']
raw_body = input_data['raw_body']
# Доступ к секретным учетным данным
secret_store = StoreClient('YOUR_SECRET_HERE')
hook_secret = secret_store.get('DBT_WEBHOOK_KEY')
api_token = secret_store.get('DBT_CLOUD_SERVICE_TOKEN')
# Проверьте, что вебхук пришёл от dbt
signature = hmac.new(hook_secret.encode('utf-8'), raw_body.encode('utf-8'), hashlib.sha256).hexdigest()
if signature != auth_header:
raise Exception("Calculated signature doesn't match contents of the Authorization header. This webhook may not have been sent from dbt.")
full_body = json.loads(raw_body)
hook_data = full_body['data']
# Шаги, полученные из этих команд, не будут иметь своих деталей ошибок, показанных в строке, так как они неаккуратны
commands_to_skip_logs = ['dbt source', 'dbt docs']
# При тестировании вы захотите жестко закодировать run_id и account_id в существующие ID; пример вебхука не сработает.
run_id = hook_data['runId']
account_id = full_body['accountId']
# Получение информации о запуске из dbt Admin API
url = f'https://YOUR_ACCESS_URL/api/v2/accounts/{account_id}/runs/{run_id}/?include_related=["run_steps"]'
headers = {'Authorization': f'Token {api_token}'}
run_data_response = requests.get(url, headers=headers)
run_data_response.raise_for_status()
run_data_results = run_data_response.json()['data']
# Общая сводка выполнения
outcome_message = f"""
**[{hook_data['runStatus']} for Run #{run_id} on Job \"{hook_data['jobName']}\"]({run_data_results['href']})**
**Environment:** {hook_data['environmentName']} | **Trigger:** {hook_data['runReason']} | **Duration:** {run_data_results['duration_humanized']}
"""
# Сводки по конкретным шагам
for step in run_data_results['run_steps']:
if step['status_humanized'] == 'Success':
outcome_message += f"""
✅ {step['name']} ({step['status_humanized']} in {step['duration_humanized']})
"""
else:
outcome_message += f"""
❌ {step['name']} ({step['status_humanized']} in {step['duration_humanized']})
"""
show_logs = not any(cmd in step['name'] for cmd in commands_to_skip_logs)
if show_logs:
full_log = step['logs']
# Удаление временной метки и любых цветовых тегов
full_log = re.sub('\x1b?\[[0-9]+m[0-9:]*', '', full_log)
summary_start = re.search('(?:Completed with \d+ error.* and \d+ warnings?:|Database Error|Compilation Error|Runtime Error)', full_log)
line_items = re.findall('(^.*(?:Failure|Error) in .*\n.*\n.*)', full_log, re.MULTILINE)
if len(line_items) == 0:
relevant_log = f'```{full_log[summary_start.start() if summary_start else 0:]}```'
else:
relevant_log = summary_start[0]
for item in line_items:
relevant_log += f'\n```\n{item.strip()}\n```\n'
outcome_message += f"""
{relevant_log}
"""
# Zapier ищет словарь `output` для использования в последующих шагах
output = {'outcome_message': outcome_message}
Добавление действия Microsoft Teams
Выберите Microsoft Teams в качестве приложения и Send Channel Message в качестве действия.
В области Set up action выберите команду и канал. Установите Message Text Format в markdown, затем поместите 2. Outcome Message из Run Python в Code by Zapier в поле Message Text.
Скриншот интерфейса Zapier, показывающий сопоставление данных из предыдущих шагов с сообщением MS TeamsТестирование и развертывание
Поскольку вы прошли каждый шаг, вы должны были протестировать выводы, так что теперь вы можете попробовать отправить сообщение в ваш канал Teams.
Когда вы будете довольны результатом, не забудьте убедиться, что ваши run_id и account_id больше не жестко закодированы, затем опубликуйте ваш Zap.
Другие заметки
- Если вы отправляете сообщение в чат, а не в канал команды, вам не нужно добавлять приложение Zapier в Microsoft Teams.
- Если вы отправляете сообщение в чат, а не в канал команды, обратите внимание, что markdown не поддерживается, и вам нужно будет удалить форматирование markdown.
- Если вы выбрали триггер Catch Hook вместо Catch Raw Hook, вам нужно будет передать каждое необходимое свойство из вебхука в качестве входных данных вместо выполнения
json.loads()для необработанного тела. Вам также нужно будет удалить код проверки.


