# Использование потоков

При запуске dbt создает направленный ациклический граф (DAG) связей между моделями. Количество потоков определяет максимальное число путей в графе, которые dbt может обрабатывать одновременно: увеличение количества потоков может сократить время выполнения вашего проекта.

Например, если указать `threads: 1`, dbt начнет построение только одной модели и завершит его, прежде чем перейти к следующей. Значение `threads: 4` означает, что dbt будет работать одновременно *не более чем с* 4 моделями, не нарушая зависимостей; фактическое количество моделей, с которыми он сможет работать одновременно, скорее всего, будет ограничено доступными путями в графе зависимостей.

Ниже показана разница между выполнением проекта с 1 потоком и 4 потоками. При использовании 1 потока dbt строит по одной модели за раз в порядке зависимостей. При использовании 4 потоков dbt параллельно строит столько готовых к построению моделей, сколько позволяет граф, и завершает работу значительно быстрее.

[![Увеличьте количество потоков, чтобы выполнять построение параллельно и завершать работу быстрее. Цвета имеют разные значения: серый — ожидание, оранжевый — построение, зеленый — завершено.](/img/docs/running-a-dbt-project/threads-1-vs-4-animated.gif?v=2 "Увеличьте количество потоков, чтобы выполнять построение параллельно и завершать работу быстрее. Цвета имеют разные значения: серый — ожидание, оранжевый — построение, зеленый — завершено.")](#)Увеличьте количество потоков, чтобы выполнять построение параллельно и завершать работу быстрее. Цвета имеют разные значения: серый — ожидание, оранжевый — построение, зеленый — завершено.

Жёсткого ограничения на максимальное количество потоков, которое вы можете задать, не существует — в целом увеличение числа потоков сокращает время выполнения, однако при этом важно учитывать несколько факторов:

* Чем больше потоков, тем выше нагрузка на хранилище. Если другие инструменты, например BI, используют те же вычислительные ресурсы, их запросы могут ждать в очереди во время запуска dbt.
* Лимит одновременных запросов в базе данных может ограничить число моделей, которые строятся параллельно. Некоторые модели будут ждать свободного слота.

Как правило, оптимальное количество потоков зависит от вашего хранилища данных и его конфигурации. Лучше всего протестировать разные значения, чтобы найти оптимальное количество потоков для вашего проекта.

(Версии dbt: v2.0 и новее)

В dbt v2 начните с максимального значения и при необходимости уменьшайте его. Рекомендуемые значения приведены в разделе [Оптимизация потоков в dbt v2](#dbt-v2-thread-optimization).

Вы можете использовать количество потоков, отличное от значения, заданного в вашей целевой конфигурации (target), указав параметр `--threads` при выполнении команды dbt.

Количество потоков задаётся в файле `profiles.yml` (при локальной разработке с dbt v1 и dbt v2), в настройках задания dbt и в учётных данных для разработки dbt в вашем профиле.

## Оптимизация потоков в dbt v2

В контексте dbt v2 поток — это открытое соединение с вашим хранилищем данных, а не количество параллельных потоков процессора вашего локального компьютера. Платформы данных различаются по количеству допустимых одновременных соединений; при превышении этих ограничений платформа отклоняет новые соединения.

В dbt v2 параметр `threads` задаёт максимальное количество SQL-запросов, которые dbt одновременно выполняет в вашем хранилище данных. Чтобы dbt v2 мог выполнять одновременно столько запросов, сколько позволяет ваш проект:

* **При запуске в dbt platform**: установите для `threads` значение `256` в [настройках задания](https://docs.getdbt.tech/docs/deploy/deploy-jobs.md?version=2#create-and-schedule-jobs).
* **При локальном запуске**: укажите `threads: 0` (или передайте `--threads 0`).

Если ваше хранилище данных отклоняет соединения или вы достигаете ограничений частоты запросов, уменьшите значение `threads`, чтобы снизить нагрузку от одновременных запросов.

Разбор проекта выполняется отдельно и автоматически использует все доступные процессоры. Чтобы отключить параллельный разбор и выполнять операции по одной, используйте флаг `--no-parallel`. Это полезно для отладки ошибок разбора и не влияет на `threads`.

### Особенности работы отдельных адаптеров

| Адаптер        | Поведение                                                                                                                                                                                                                                                                                                                                                                                          |
| -------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **Snowflake**  | dbt v2 автоматически управляет количеством параллельных подключений с учётом ограничений платформы и обратного давления. Если задан параметр `threads`, он устанавливает максимальное количество подключений, но dbt v2 рассчитан на оптимальную работу и без его настройки. Если возникают проблемы с тайм-аутами или ограничениями частоты запросов, может помочь уменьшение значения `threads`. |
| **Databricks** | dbt v2 автоматически управляет количеством параллельных подключений с учётом ограничений платформы и обратного давления. Если задан параметр `threads`, он устанавливает максимальное количество подключений, но dbt v2 рассчитан на оптимальную работу и без его настройки. Если возникают проблемы с тайм-аутами или ограничениями частоты запросов, может помочь уменьшение значения `threads`. |
| **BigQuery**   | dbt v2 учитывает заданное пользователем количество потоков для соблюдения ограничений частоты запросов к API.<br />Значение `--threads 0` (или отсутствие этой настройки) позволяет dbt v2 динамически оптимизировать степень параллелизма.                                                                                                                                                        |
| **Redshift**   | dbt v2 учитывает заданное пользователем количество потоков для соблюдения ограничений на число одновременно выполняемых операций.<br />Значение `--threads 0` (или отсутствие этой настройки) позволяет dbt v2 динамически оптимизировать степень параллелизма.                                                                                                                                    |

Подробнее о подходе dbt v2 к параллельному выполнению см. на [странице dbt v2](https://docs.getdbt.tech/docs/introduction.md).

## Связанная документация

* [О файле profiles.yml](https://docs.getdbt.tech/docs/local/profiles.yml.md)
* [Планировщик заданий dbt](https://docs.getdbt.tech/docs/deploy/job-scheduler.md)
