Планировщик заданий
Используйте dbt Wizard для анализа и устранения сбоев заданий и запусков dbt: задавайте агенту вопросы о недавних сбоях, их первопричинах и способах исправления — с помощью навыка troubleshooting-dbt-job-errors из dbt Agent Skills.
Планировщик заданий — основа выполнения заданий в dbt. Он сочетает широкие возможности с простотой построения конвейеров данных как в средах непрерывной интеграции, так и в производственных средах. Планировщик избавляет команды от необходимости создавать и поддерживать собственную инфраструктуру и обеспечивает своевременность и надёжность преобразований данных.
Планировщик позволяет выполнять команды dbt в пользовательской платформе данных как на основе cron, так и по событиям. В частности, он обрабатывает:
- Запуск заданий dbt по расписанию cron с заданной периодичностью
- Запуск заданий dbt по событию завершения другого задания (запуск по завершении задания)
- Запуск CI-заданий dbt по событию слияния pull request с веткой (задания слияния)
- Запуск заданий dbt по событию, инициированному через API
- Запуск заданий dbt вручную пользователем с помощью кнопки Run now
Планировщик выполняет различные задачи, включая:
- постановку заданий в очередь
- создание временных окружений для выполнения dbt‑команд, необходимых для этих заданий
- предоставление логов для отладки и устранения проблем
- хранение dbt‑артефактов для прямого использования или загрузки через Discovery API
Планировщик также:
- Использует кеширование Git-репозитория в dbt для защиты от сбоев сторонних сервисов и повышения надёжности выполнения заданий. EnterpriseEnterprise +
- Обеспечивает запуск dbt в промежуточных и производственных средах, упрощая рабочие процессы CI/CD и повышая их надёжность, а также обеспечивая наблюдаемость и управление при масштабном развёртывании dbt.
- Использует гибридные проекты для загрузки артефактов dbt v1 в dbt, обеспечивая централизованный обзор, ссылки между проектами и более удобную совместную работу. Бета-версияEnterprise +
- Использует dbt State, чтобы определять, что нужно пересоздать, на основе актуальности данных вышестоящих зависимостей и изменений в коде.
Термины планировщика
Ознакомьтесь с этими полезными терминами, чтобы лучше понять, как работает планировщик заданий.
| Термин | Определение |
|---|---|
| Планировщик | Движок dbt, обеспечивающий выполнение заданий. Планировщик ставит в очередь запуски заданий по расписанию или через API, подготавливает среду для выполнения команд задания на вашей облачной платформе данных, а также сохраняет и предоставляет логи и артефакты, создаваемые в процессе выполнения. |
| Задание | Набор шагов выполнения, настроек и триггер для вызова команд dbt в проекте на облачной платформе данных пользователя. |
| Очередь заданий | Очередь заданий служит местом ожидания для запусков заданий, запланированных по расписанию или инициированных триггером; запуски остаются в очереди до начала выполнения. В частности, планировщик проверяет очередь на наличие запусков, время выполнения которых наступило, проверяет, что запуск может начаться, а затем подготавливает среду с соответствующими настройками, учетными данными и командами для начала выполнения. Как только выполнение начинается, запуск покидает очередь. |
| Задание со слишком частым расписанием | Ситуация, когда длительность выполнения задания, запускаемого по расписанию cron, превышает интервал между запусками, в результате чего очередь заданий растет быстрее, чем планировщик успевает обрабатывать запуски этого задания. |
| Деактивированное задание | Ситуация, когда задание завершилось с ошибкой 100 раз подряд или принадлежит неактивной учетной записи. |
| Время подготовки | Время, которое требуется dbt для создания кратковременной среды для выполнения команд задания на облачной платформе данных пользователя. Время подготовки наиболее заметно варьируется в начале каждого часа, когда планировщик dbt обрабатывает большой поток запусков. |
| Запуск | Одно отдельное выполнение задания dbt. |
| Слот выполнения | Слоты выполнения определяют количество заданий, которые могут выполняться одновременно. Каждое выполняющееся задание занимает слот выполнения на все время своего запуска. Чтобы узнать количество слотов выполнения, доступных в вашем тарифном плане, посетите страницу тарифов dbt. Тарифные планы Starter и Developer ограничены одним проектом каждый. Если вам нужны дополнительные проекты или больше слотов выполнения, рассмотрите переход на тарифный план уровня Enterprise. |
| Потоки | Когда dbt строит DAG проекта, он пытается распараллелить выполнение с помощью потоков. Количество потоков — это максимальное число путей в DAG, которые dbt может обрабатывать одновременно. По умолчанию количество потоков в задании равно 4. |
| Время ожидания | Время, в течение которого dbt ожидает перед выполнением задания из-за отсутствия свободных слотов или из-за того, что предыдущий запуск того же задания еще выполняется. |
Очередь планировщика
Планировщик ставит в очередь задание на развертывание для обработки, когда оно запускается по расписанию, по завершению задания, вызовом API или вручную.
Перед началом выполнения задания планировщик проверяет следующие условия, чтобы определить, может ли запуск начаться:
-
Есть ли доступный слот запуска в учетной записи? — Если все слоты запуска заняты, запланированный запуск будет ожидать. Время ожидания отображается в dbt Cloud. Если время ожидания длительное, переход на корпоративный план может предоставить больше слотов запуска и позволить более высокую параллельность заданий.
-
Есть ли в аккаунте свободный слот для запуска? — Если все слоты для запуска заняты, запуск в очереди будет ожидать. Время ожидания отображается в dbt. Если время ожидания велико, переход на тариф Enterprise может предоставить больше слотов для запуска и позволит выполнять больше заданий одновременно.
-
Есть ли уже выполняющийся запуск этого же задания? — Планировщик выполняет отдельные запуски одного и того же задания dbt последовательно, чтобы избежать конфликтов при построении моделей. Если задание уже выполняется, задание в очереди будет ожидать, а время ожидания будет отображаться в dbt.
Если доступен слот для запуска и нет активно выполняющегося экземпляра задания, планировщик подготовит задание к выполнению в вашей облачной платформе данных. Эта подготовка включает создание Kubernetes-пода с установленной нужной версией dbt, настройку переменных окружения, загрузку учетных данных платформы данных и авторизацию провайдера Git, а также другие задачи по подготовке окружения. Время, необходимое для подготовки задания, отображается в интерфейсе как Prep time.
Обработка CI-заданий
По сравнению с заданиями развертывания, планировщик ведет себя иначе при работе с заданиями непрерывной интеграции (CI). CI-задание ставится в очередь для обработки в момент, когда оно запускается pull request’ом в Git, и условия, которые планировщик проверяет для определения возможности начала выполнения запуска, также отличаются:
Обработка merge заданий
Когда задание запускается слиянием pull-запроса Git, планировщик ставит в очередь merge задание для обработки.
Обработка merge jobs
Когда процесс запускается объединённым pull request в Git, планировщик ставит в очередь merge job для последующей обработки.
Память задания
В dbt Cloud настройка для выделения памяти, доступной для задания, определяется на уровне учетной записи и применяется к каждому заданию, выполняемому в учетной записи; лимит памяти не может быть настроен для каждого задания отдельно. Если выполняющееся задание достигает своего лимита памяти, запуск завершается с сообщением об ошибке "memory limit error".
В dbt объём памяти, доступной заданию, задаётся на уровне аккаунта и применяется к каждому заданию, выполняемому в этом аккаунте; лимит памяти нельзя настроить отдельно для каждого задания. Если выполняемое задание достигает лимита памяти, его запуск прерывается с сообщением «memory limit error».
Задания потребляют много памяти в следующих ситуациях:
- Указано большое количество потоков
- Пользовательские макросы dbt пытаются загрузить данные в память вместо того, чтобы перенести вычисления на облачную платформу данных
В разделе Архитектура dbt приведена схема архитектуры и описано движение данных.
Отмена запусков заданий со слишком частым расписанием
Планировщик не отменяет задания со слишком частым расписанием, запущенные через API.
Планировщик dbt предотвращает переполнение очереди запусков заданий, отменяя ненужные запуски. Если выполнение задания занимает больше времени, чем интервал между запусками по расписанию, очередь растёт быстрее, чем планировщик успевает обрабатывать запуски. В результате очередь непрерывно увеличивается и содержит запуски, которые не требуется обрабатывать (такие задания называются заданиями со слишком частым расписанием).
Планировщик предотвращает засорение очереди, отменяя запуски, которые не нужны, обеспечивая, чтобы в очереди было только одно выполнение задания в любой момент времени. Если в очередь поставлен новый запуск, планировщик отменяет любой ранее поставленный в очередь запуск для этого задания и отображает сообщение об ошибке.
Для отменённых запусков отображается сообщение об ошибке с объяснением причины отмены и рекомендациямиЧтобы предотвратить перепланирование, пользователи должны предпринять действия, либо рефакторизовав задание, чтобы оно выполнялось быстрее, либо изменив его расписание.
Деактивация заданий
Чтобы сократить ненужное потребление ресурсов и снизить конкуренцию за слоты запуска в вашем аккаунте, dbt деактивирует задание развертывания или задание CI, если оно завершится с ошибкой 100 раз подряд. При деактивации задания отображается баннер с сообщением: «Задание деактивировано из-за повторяющихся ошибок выполнения. Чтобы активировать его повторно, убедитесь, что задание настроено правильно, и запустите его вручную или повторно включите любой триггер». После этого запуски по расписанию и по триггерам больше не будут добавляться в очередь.
Задания также могут быть деактивированы, если аккаунт dbt неактивен. Владельцы аккаунта получают предупреждение после 90 дней отсутствия активности в аккаунте. Если активность отсутствует еще 7 дней, dbt деактивирует задания в аккаунте. При деактивации задания из-за неактивности аккаунта отображается баннер с сообщением: «Задание деактивировано, поскольку аккаунт неактивен. Чтобы активировать его повторно, выйдите из dbt и войдите снова, затем подождите до 30 минут, пока система повторно активирует задание, либо вручную отредактируйте и сохраните задание».
Чтобы повторно активировать задание, деактивированное из-за повторяющихся ошибок выполнения, выполните одно из следующих действий:
- Обновите настройки задания, чтобы устранить проблему, и сохраните задание (рекомендуется)
- Запустите задание вручную, нажав Run now на странице задания
Чтобы повторно активировать задания, деактивированные из-за неактивности аккаунта, выйдите из dbt и войдите снова, затем подождите до 30 минут, пока система повторно активирует задание, либо вручную отредактируйте и сохраните задание.
