Использование потоков
При запуске dbt создает направленный ациклический граф (DAG) связей между моделями. Количество потоков определяет максимальное число путей в графе, которые dbt может обрабатывать одновременно: увеличение количества потоков может сократить время выполнения вашего проекта.
Например, если указать threads: 1, dbt начнет построение только одной модели и завершит его, прежде чем перейти к следующей. Значение threads: 4 означает, что dbt будет работать одновременно не более чем с 4 моделями, не нарушая зависимостей; фактическое количество моделей, с которыми он сможет работать одновременно, скорее всего, будет ограничено доступными путями в графе зависимостей.
Ниже показана разница между выполнением проекта с 1 потоком и 4 потоками. При использовании 1 потока dbt строит по одной модели за раз в порядке зависимостей. При использовании 4 потоков dbt параллельно строит столько готовых к построению моделей, сколько позволяет граф, и завершает работу значительно быстрее.
Увеличьте количество потоков, чтобы выполнять построение параллельно и завершать работу быстрее. Цвета имеют разные значения: серый — ожидание, оранжевый — построение, зеленый — завершено.Жёсткого ограничения на максимальное количество потоков, которое вы можете задать, не существует — в целом увеличение числа потоков сокращает время выполнения, однако при этом важно учитывать несколько факторов:
- Чем больше потоков, тем выше нагрузка на хранилище. Если другие инструменты, например BI, используют те же вычислительные ресурсы, их запросы могут ждать в очереди во время запуска dbt.
- Лимит одновременных запросов в базе данных может ограничить число моделей, которые строятся параллельно. Некоторые модели будут ждать свободного слота.
Как правило, оптимальное количество потоков зависит от вашего хранилища данных и его конфигурации. Лучше всего протестировать разные значения, чтобы найти оптимальное количество потоков для вашего проекта.
(Версии dbt: v2.0 и новее)В dbt v2 начните с максимального значения и при необходимости уменьшайте его. Рекомендуемые значения приведены в разделе Оптимизация потоков в dbt v2.
Вы можете использовать количество потоков, отличное от значения, заданного в вашей целевой конфигурации (target), указав параметр --threads при выполнении команды dbt.
Количество потоков задаётся в файле profiles.yml (при локальной разработке с dbt v1 и dbt v2), в настройках задания dbt и в учётных данных для разработки dbt в вашем профиле.
Оптимизация потоков в dbt v2
В контексте dbt v2 поток — это открытое соединение с вашим хранилищем данных, а не количество параллельных потоков процессора вашего локального компьютера. Платформы данных различаются по количеству допустимых одновременных соединений; при превышении этих ограничений платформа отклоняет новые соединения.
В dbt v2 параметр threads задаёт максимальное количество SQL-запросов, которые dbt одновременно выполняет в вашем хранилище данных. Чтобы dbt v2 мог выполнять одновременно столько запросов, сколько позволяет ваш проект:
- При запуске в dbt platform: установите для
threadsзначение256в настройках задания. - При локальном запуске: укажите
threads: 0(или передайте--threads 0).
Если ваше хранилище данных отклоняет соединения или вы достигаете ограничений частоты запросов, уменьшите значение threads, чтобы снизить нагрузку от одновременных запросов.
Разбор проекта выполняется отдельно и автоматически использует все доступные процессоры. Чтобы отключить параллельный разбор и выполнять операции по одной, используйте флаг --no-parallel. Это полезно для отладки ошибок разбора и не влияет на threads.
Особенности работы отдельных адаптеров
| Адаптер | Поведение |
|---|---|
| Snowflake | dbt v2 автоматически управляет количеством параллельных подключений с учётом ограничений платформы и обратного давления. Если задан параметр threads, он устанавливает максимальное количество подключений, но dbt v2 рассчитан на оптимальную работу и без его настройки. Если возникают проблемы с тайм-аутами или ограничениями частоты запросов, может помочь уменьшение значения threads. |
| Databricks | dbt v2 автоматически управляет количеством параллельных подключений с учётом ограничений платформы и обратного давления. Если задан параметр threads, он устанавливает максимальное количество подключений, но dbt v2 рассчитан на оптимальную работу и без его настройки. Если возникают проблемы с тайм-аутами или ограничениями частоты запросов, может помочь уменьшение значения threads. |
| BigQuery | dbt v2 учитывает заданное пользователем количество потоков для соблюдения ограничений частоты запросов к API. Значение --threads 0 (или отсутствие этой настройки) позволяет dbt v2 динамически оптимизировать степень параллелизма. |
| Redshift | dbt v2 учитывает заданное пользователем количество потоков для соблюдения ограничений на число одновременно выполняемых операций. Значение --threads 0 (или отсутствие этой настройки) позволяет dbt v2 динамически оптимизировать степень параллелизма. |
Подробнее о подходе dbt v2 к параллельному выполнению см. на странице dbt v2.