Перейти к основному содержимому

Использование потоков

При запуске dbt создает направленный ациклический граф (DAG) связей между моделями. Количество потоков определяет максимальное число путей в графе, которые dbt может обрабатывать одновременно: увеличение количества потоков может сократить время выполнения вашего проекта.

Например, если указать threads: 1, dbt начнет построение только одной модели и завершит его, прежде чем перейти к следующей. Значение threads: 4 означает, что dbt будет работать одновременно не более чем с 4 моделями, не нарушая зависимостей; фактическое количество моделей, с которыми он сможет работать одновременно, скорее всего, будет ограничено доступными путями в графе зависимостей.

Ниже показана разница между выполнением проекта с 1 потоком и 4 потоками. При использовании 1 потока dbt строит по одной модели за раз в порядке зависимостей. При использовании 4 потоков dbt параллельно строит столько готовых к построению моделей, сколько позволяет граф, и завершает работу значительно быстрее.

Увеличьте количество потоков, чтобы выполнять построение параллельно и завершать работу быстрее. Цвета имеют разные значения: серый — ожидание, оранжевый — построение, зеленый — завершено.Увеличьте количество потоков, чтобы выполнять построение параллельно и завершать работу быстрее. Цвета имеют разные значения: серый — ожидание, оранжевый — построение, зеленый — завершено.

Жёсткого ограничения на максимальное количество потоков, которое вы можете задать, не существует — в целом увеличение числа потоков сокращает время выполнения, однако при этом важно учитывать несколько факторов:

  • Чем больше потоков, тем выше нагрузка на хранилище. Если другие инструменты, например BI, используют те же вычислительные ресурсы, их запросы могут ждать в очереди во время запуска dbt.
  • Лимит одновременных запросов в базе данных может ограничить число моделей, которые строятся параллельно. Некоторые модели будут ждать свободного слота.

Как правило, оптимальное количество потоков зависит от вашего хранилища данных и его конфигурации. Лучше всего протестировать разные значения, чтобы найти оптимальное количество потоков для вашего проекта.

(Версии dbt: v2.0 и новее)

В dbt v2 начните с максимального значения и при необходимости уменьшайте его. Рекомендуемые значения приведены в разделе Оптимизация потоков в dbt v2.

Вы можете использовать количество потоков, отличное от значения, заданного в вашей целевой конфигурации (target), указав параметр --threads при выполнении команды dbt.

Количество потоков задаётся в файле profiles.yml (при локальной разработке с dbt v1 и dbt v2), в настройках задания dbt и в учётных данных для разработки dbt в вашем профиле.

Оптимизация потоков в dbt v2​

В контексте dbt v2 поток — это открытое соединение с вашим хранилищем данных, а не количество параллельных потоков процессора вашего локального компьютера. Платформы данных различаются по количеству допустимых одновременных соединений; при превышении этих ограничений платформа отклоняет новые соединения.

В dbt v2 параметр threads задаёт максимальное количество SQL-запросов, которые dbt одновременно выполняет в вашем хранилище данных. Чтобы dbt v2 мог выполнять одновременно столько запросов, сколько позволяет ваш проект:

  • При запуске в dbt platform: установите для threads значение 256 в настройках задания.
  • При локальном запуске: укажите threads: 0 (или передайте --threads 0).

Если ваше хранилище данных отклоняет соединения или вы достигаете ограничений частоты запросов, уменьшите значение threads, чтобы снизить нагрузку от одновременных запросов.

Разбор проекта выполняется отдельно и автоматически использует все доступные процессоры. Чтобы отключить параллельный разбор и выполнять операции по одной, используйте флаг --no-parallel. Это полезно для отладки ошибок разбора и не влияет на threads.

Особенности работы отдельных адаптеров​

АдаптерПоведение
Snowflakedbt v2 автоматически управляет количеством параллельных подключений с учётом ограничений платформы и обратного давления. Если задан параметр threads, он устанавливает максимальное количество подключений, но dbt v2 рассчитан на оптимальную работу и без его настройки. Если возникают проблемы с тайм-аутами или ограничениями частоты запросов, может помочь уменьшение значения threads.
Databricksdbt v2 автоматически управляет количеством параллельных подключений с учётом ограничений платформы и обратного давления. Если задан параметр threads, он устанавливает максимальное количество подключений, но dbt v2 рассчитан на оптимальную работу и без его настройки. Если возникают проблемы с тайм-аутами или ограничениями частоты запросов, может помочь уменьшение значения threads.
BigQuerydbt v2 учитывает заданное пользователем количество потоков для соблюдения ограничений частоты запросов к API.
Значение --threads 0 (или отсутствие этой настройки) позволяет dbt v2 динамически оптимизировать степень параллелизма.
Redshiftdbt v2 учитывает заданное пользователем количество потоков для соблюдения ограничений на число одновременно выполняемых операций.
Значение --threads 0 (или отсутствие этой настройки) позволяет dbt v2 динамически оптимизировать степень параллелизма.

Подробнее о подходе dbt v2 к параллельному выполнению см. на странице dbt v2.

Связанная документация​

Нашли ошибку?

0
Loading