# Планировщик заданий

Платформа dbt

к сведению

Используйте [dbt Wizard](https://docs.getdbt.tech/docs/dbt-ai/wizard-ide.md) для анализа и устранения сбоев заданий и запусков dbt: задавайте агенту вопросы о недавних сбоях, их первопричинах и способах исправления — с помощью навыка `troubleshooting-dbt-job-errors` из dbt Agent Skills.

Планировщик заданий — основа выполнения заданий в dbt. Он сочетает широкие возможности с простотой построения конвейеров данных как в средах непрерывной интеграции, так и в производственных средах. Планировщик избавляет команды от необходимости создавать и поддерживать собственную инфраструктуру и обеспечивает своевременность и надёжность преобразований данных.

Планировщик позволяет выполнять команды dbt в пользовательской платформе данных как на основе cron, так и по событиям. В частности, он обрабатывает:

* Запуск заданий dbt по расписанию cron с заданной периодичностью
* Запуск заданий dbt по событию завершения другого задания ([запуск по завершении задания](https://docs.getdbt.tech/docs/deploy/deploy-jobs.md#trigger-on-job-completion))
* Запуск CI-заданий dbt по событию слияния pull request с веткой ([задания слияния](https://docs.getdbt.tech/docs/deploy/merge-jobs.md))
* Запуск заданий dbt по событию, инициированному через API
* Запуск заданий dbt вручную пользователем с помощью кнопки **Run now**

Планировщик выполняет различные задачи, включая:

* постановку заданий в очередь
* создание временных окружений для выполнения dbt‑команд, необходимых для этих заданий
* предоставление логов для отладки и устранения проблем
* хранение dbt‑артефактов для прямого использования или загрузки через Discovery API

Планировщик также:

* Использует [кеширование Git-репозитория в dbt](https://docs.getdbt.tech/docs/platform/account-settings.md#git-repository-caching-) для защиты от сбоев сторонних сервисов и повышения надёжности выполнения заданий. [Enterprise](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")[Enterprise +](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")
* Обеспечивает запуск dbt в промежуточных и производственных средах, упрощая рабочие процессы CI/CD и повышая их надёжность, а также обеспечивая наблюдаемость и управление при масштабном развёртывании dbt.
* Использует [гибридные проекты](https://docs.getdbt.tech/docs/deploy/hybrid-projects.md) для загрузки артефактов dbt v1 в dbt, обеспечивая централизованный обзор, ссылки между проектами и более удобную совместную работу. [Бета-версия](https://docs.getdbt.tech/docs/dbt-versions/product-lifecycles "Подробнее о статусе или тарифе")[Enterprise +](https://www.getdbt.com/pricing "Подробнее о статусе или тарифе")
* Использует [dbt State](https://docs.getdbt.tech/docs/deploy/dbt-state-about.md), чтобы определять, что нужно пересоздать, на основе актуальности данных вышестоящих зависимостей и изменений в коде.

## Термины планировщика

Ознакомьтесь с этими полезными терминами, чтобы лучше понять, как работает планировщик заданий.

| Термин                                | Определение                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
| ------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| Планировщик                           | Движок dbt, обеспечивающий выполнение заданий. Планировщик ставит в очередь запуски заданий по расписанию или через API, подготавливает среду для выполнения команд задания на вашей облачной платформе данных, а также сохраняет и предоставляет логи и артефакты, создаваемые в процессе выполнения.                                                                                                                                                                                                                                                                  |
| Задание                               | Набор шагов выполнения, настроек и триггер для вызова команд dbt в проекте на облачной платформе данных пользователя.                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
| Очередь заданий                       | Очередь заданий служит местом ожидания для запусков заданий, запланированных по расписанию или инициированных триггером; запуски остаются в очереди до начала выполнения. В частности, планировщик проверяет очередь на наличие запусков, время выполнения которых наступило, проверяет, что запуск может начаться, а затем подготавливает среду с соответствующими настройками, учетными данными и командами для начала выполнения. Как только выполнение начинается, запуск покидает очередь.                                                                         |
| Задание со слишком частым расписанием | Ситуация, когда длительность выполнения задания, запускаемого по расписанию cron, превышает интервал между запусками, в результате чего очередь заданий растет быстрее, чем планировщик успевает обрабатывать запуски этого задания.                                                                                                                                                                                                                                                                                                                                    |
| Деактивированное задание              | Ситуация, когда задание завершилось с ошибкой 100 раз подряд или принадлежит неактивной учетной записи.                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
| Время подготовки                      | Время, которое требуется dbt для создания кратковременной среды для выполнения команд задания на облачной платформе данных пользователя. Время подготовки наиболее заметно варьируется в начале каждого часа, когда планировщик dbt обрабатывает большой поток запусков.                                                                                                                                                                                                                                                                                                |
| Запуск                                | Одно отдельное выполнение задания dbt.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
| Слот выполнения                       | Слоты выполнения определяют количество заданий, которые могут выполняться одновременно. Каждое выполняющееся задание занимает слот выполнения на все время своего запуска. Чтобы узнать количество слотов выполнения, доступных в вашем тарифном плане, посетите [страницу тарифов dbt](https://www.getdbt.com/pricing).<br /><br />Тарифные планы Starter и Developer ограничены одним проектом каждый. Если вам нужны дополнительные проекты или больше слотов выполнения, рассмотрите переход на [тарифный план уровня Enterprise](https://www.getdbt.com/pricing/). |
| Потоки                                | Когда dbt строит DAG проекта, он пытается распараллелить выполнение с помощью потоков. Количество [потоков](https://docs.getdbt.tech/docs/running-a-dbt-project/using-threads.md) — это максимальное число путей в DAG, которые dbt может обрабатывать одновременно. По умолчанию количество потоков в задании равно 4.                                                                                                                                                                                                                                                |
| Время ожидания                        | Время, в течение которого dbt ожидает перед выполнением задания из-за отсутствия свободных слотов или из-за того, что предыдущий запуск того же задания еще выполняется.                                                                                                                                                                                                                                                                                                                                                                                                |

## Очередь планировщика

Планировщик ставит в очередь задание на развертывание для обработки, когда оно запускается [по расписанию](https://docs.getdbt.tech/docs/deploy/deploy-jobs.md#schedule-days), [по завершению задания](https://docs.getdbt.tech/docs/deploy/deploy-jobs.md#trigger-on-job-completion), вызовом API или вручную.

Перед началом выполнения задания планировщик проверяет следующие условия, чтобы определить, может ли запуск начаться:

* **Есть ли доступный слот запуска в учетной записи?** — Если все слоты запуска заняты, запланированный запуск будет ожидать. Время ожидания отображается в dbt Cloud. Если время ожидания длительное, [переход на корпоративный план](https://www.getdbt.com/contact/) может предоставить больше слотов запуска и позволить более высокую параллельность заданий.

* **Есть ли в аккаунте свободный слот для запуска?** — Если все слоты для запуска заняты, запуск в очереди будет ожидать. Время ожидания отображается в dbt. Если время ожидания велико, [переход на тариф Enterprise](https://www.getdbt.com/contact/) может предоставить больше слотов для запуска и позволит выполнять больше заданий одновременно.

* **Есть ли уже выполняющийся запуск этого же задания?** — Планировщик выполняет отдельные запуски одного и того же задания dbt последовательно, чтобы избежать конфликтов при построении моделей. Если задание уже выполняется, задание в очереди будет ожидать, а время ожидания будет отображаться в dbt.

Если доступен слот для запуска и нет активно выполняющегося экземпляра задания, планировщик подготовит задание к выполнению в вашей облачной платформе данных. Эта подготовка включает создание Kubernetes-пода с установленной нужной версией dbt, настройку переменных окружения, загрузку учетных данных платформы данных и авторизацию провайдера Git, а также другие задачи по подготовке окружения. Время, необходимое для подготовки задания, отображается в интерфейсе как **Prep time**.

[![Обзор запуска задания dbt](/img/docs/dbt-platform/deployment/deploy-scheduler.png?v=2 "Обзор запуска задания dbt")](#)Обзор запуска задания dbt

### Обработка CI-заданий

По сравнению с заданиями развертывания, планировщик ведет себя иначе при работе с [заданиями непрерывной интеграции (CI)](https://docs.getdbt.tech/docs/deploy/continuous-integration.md). CI-задание ставится в очередь для обработки в момент, когда оно запускается pull request’ом в Git, и условия, которые планировщик проверяет для определения возможности начала выполнения запуска, также отличаются:

### Обработка merge заданий

Когда задание запускается *слиянием* pull-запроса Git, планировщик ставит в очередь [merge задание](https://docs.getdbt.tech/docs/deploy/merge-jobs.md) для обработки.

### Обработка merge jobs

Когда процесс запускается *объединённым* pull request в Git, планировщик ставит в очередь [merge job](https://docs.getdbt.tech/docs/deploy/merge-jobs.md) для последующей обработки.

## Память задания

В dbt Cloud настройка для выделения памяти, доступной для задания, определяется на уровне учетной записи и применяется к каждому заданию, выполняемому в учетной записи; лимит памяти не может быть настроен для каждого задания отдельно. Если выполняющееся задание достигает своего лимита памяти, запуск завершается с сообщением об ошибке "memory limit error".

В dbt объём памяти, доступной заданию, задаётся на уровне аккаунта и применяется к каждому заданию, выполняемому в этом аккаунте; лимит памяти нельзя настроить отдельно для каждого задания. Если выполняемое задание достигает лимита памяти, его запуск прерывается с сообщением «memory limit error».

Задания потребляют много памяти в следующих ситуациях:

* Указано большое количество потоков
* Пользовательские макросы dbt пытаются загрузить данные в память вместо того, чтобы перенести вычисления на облачную платформу данных

В разделе [Архитектура dbt](https://docs.getdbt.tech/docs/platform/about-platform/architecture.md) приведена схема архитектуры и описано движение данных.

## Отмена запусков заданий со слишком частым расписанием

Планировщик не отменяет задания, запущенные через API

Планировщик не отменяет задания со слишком частым расписанием, запущенные через [API](https://docs.getdbt.tech/docs/dbt-apis/overview.md).

Планировщик dbt предотвращает переполнение очереди запусков заданий, отменяя ненужные запуски. Если выполнение задания занимает больше времени, чем интервал между запусками по расписанию, очередь растёт быстрее, чем планировщик успевает обрабатывать запуски. В результате очередь непрерывно увеличивается и содержит запуски, которые не требуется обрабатывать (такие задания называются *заданиями со слишком частым расписанием*).

Планировщик предотвращает засорение очереди, отменяя запуски, которые не нужны, обеспечивая, чтобы в очереди было только одно выполнение задания в любой момент времени. Если в очередь поставлен новый запуск, планировщик отменяет любой ранее поставленный в очередь запуск для этого задания и отображает сообщение об ошибке.

[![Для отменённых запусков отображается сообщение об ошибке с объяснением причины отмены и рекомендациями](/img/docs/dbt-platform/deployment/run-error-message.png?v=2 "Для отменённых запусков отображается сообщение об ошибке с объяснением причины отмены и рекомендациями")](#)Для отменённых запусков отображается сообщение об ошибке с объяснением причины отмены и рекомендациями

Чтобы предотвратить перепланирование, пользователи должны предпринять действия, либо рефакторизовав задание, чтобы оно выполнялось быстрее, либо изменив его [расписание](https://docs.getdbt.tech/docs/deploy/deploy-jobs.md#schedule-days).

## Деактивация заданий

Чтобы сократить ненужное потребление ресурсов и снизить конкуренцию за слоты запуска в вашем аккаунте, dbt деактивирует [задание развертывания](https://docs.getdbt.tech/docs/deploy/deploy-jobs.md) или [задание CI](https://docs.getdbt.tech/docs/deploy/ci-jobs.md), если оно завершится с ошибкой 100 раз подряд. При деактивации задания отображается баннер с сообщением: «Задание деактивировано из-за повторяющихся ошибок выполнения. Чтобы активировать его повторно, убедитесь, что задание настроено правильно, и запустите его вручную или повторно включите любой триггер». После этого запуски по расписанию и по триггерам больше не будут добавляться в очередь.

Задания также могут быть деактивированы, если аккаунт dbt неактивен. Владельцы аккаунта получают предупреждение после 90 дней отсутствия активности в аккаунте. Если активность отсутствует еще 7 дней, dbt деактивирует задания в аккаунте. При деактивации задания из-за неактивности аккаунта отображается баннер с сообщением: «Задание деактивировано, поскольку аккаунт неактивен. Чтобы активировать его повторно, выйдите из dbt и войдите снова, затем подождите до 30 минут, пока система повторно активирует задание, либо вручную отредактируйте и сохраните задание».

Чтобы повторно активировать задание, деактивированное из-за повторяющихся ошибок выполнения, выполните одно из следующих действий:

* Обновите настройки задания, чтобы устранить проблему, и сохраните задание (рекомендуется)
* Запустите задание вручную, нажав **Run now** на странице задания

Чтобы повторно активировать задания, деактивированные из-за неактивности аккаунта, выйдите из dbt и войдите снова, затем подождите до 30 минут, пока система повторно активирует задание, либо вручную отредактируйте и сохраните задание.

## Часто задаваемые вопросы

Я получаю ошибку 'Этот запуск превысил лимиты памяти вашего аккаунта' в моей неудавшейся задаче

Если при неудачном выполнении задания вы получаете ошибку `This run exceeded your account's run memory limits`, это означает, что задание превысило [ограничения памяти](https://docs.getdbt.tech/docs/deploy/job-scheduler.md#job-memory), установленные для вашей учетной записи. Для всех учетных записей dbt объем памяти пода составляет 600 МиБ, а ограничения памяти применяются к каждому запуску отдельно. На потребление памяти обычно влияет объем результирующих данных, которые dbt должен загрузить и обработать. Как правило, этот объем невелик, но он может неожиданно вырасти из-за решений, принятых при проектировании проекта.

### Общие причины

Некоторые общие причины повышенного использования памяти:

* dbt run/build: Макросы, которые захватывают большие наборы результатов из выполняемого запроса, могут быть не все необходимы и могут быть неэффективны по памяти.
* dbt docs generate: Источники или схемы моделей с большим количеством таблиц (даже если эти таблицы не все используются dbt) вызывают загрузку очень больших результатов для запросов каталога.

### Решение

Существует множество причин, по которым вы можете сталкиваться с этой ошибкой, но в основном они связаны с извлечением слишком большого объема данных в dbt. Например, использование операций `run_query()` или подобных макросов, или даже использование баз данных/схем, которые содержат много других таблиц/представлений, не связанных с dbt. Попробуйте уменьшить объем данных/количество строк, извлекаемых в dbt, переработав SQL в вашей операции `run_query()` с использованием клауз `group`, `where` или `limit`. Кроме того, вы можете использовать базу данных/схему с меньшим количеством таблиц/представлений, не связанных с dbt.

Видео пример

В качестве дополнительного ресурса, посмотрите [это видео](https://www.youtube.com/watch?v=sTqzNaFXiZ8), которое демонстрирует, как переработать пример кода, уменьшая количество возвращаемых строк.

Если вы попробовали предыдущие предложения и все еще сталкиваетесь с неудачными запусками задач с этой ошибкой о превышении лимитов памяти вашего аккаунта, пожалуйста, [обратитесь в поддержку](mailto:support@getdbt.com). Мы будем рады помочь!

### Дополнительные материалы

* [Пост в блоге о том, как мы сократили время на 90 минут](https://docs.getdbt.tech/blog/how-we-shaved-90-minutes-off-model)

## Связанная документация

* [Архитектура dbt](https://docs.getdbt.tech/docs/platform/about-platform/architecture.md#about-dbt-architecture)
* [Команды заданий](https://docs.getdbt.tech/docs/deploy/job-commands.md)
* [Уведомления о заданиях](https://docs.getdbt.tech/docs/deploy/job-notifications.md)
* [Вебхуки](https://docs.getdbt.tech/docs/deploy/webhooks.md)
* [Непрерывная интеграция в dbt](https://docs.getdbt.tech/docs/deploy/continuous-integration.md)
