concurrent_batches

💡Did you know...

Available from dbt v1.9 or with the dbt "Latest" release track.

Project YAML file

dbt_project.yml

models:
  +concurrent_batches: true

SQL file config

models/my_model.sql

{{
  config(
    materialized='incremental',
    concurrent_batches=true,
    incremental_strategy='microbatch'
        ...
  )
}}
select ...

Определение

concurrent_batches — это параметр, который позволяет вам решить, хотите ли вы запускать пакеты параллельно или последовательно (по одному за раз).

Для получения дополнительной информации см. как работает пакетное выполнение.

Example

По умолчанию dbt автоматически определяет, могут ли пакеты выполняться параллельно для моделей с микропакетной обработкой (microbatch). Однако вы можете переопределить это определение dbt, установив конфигурацию concurrent_batches в значение false в файле dbt_project.yml или в .sql‑файле модели, чтобы явно указать параллельное или последовательное выполнение, при условии что выполняются следующие требования:

• У вас настроена микропакетная стратегия инкрементальной загрузки.
• Вы работаете с кумулятивными метриками или с логикой, которая зависит от порядка выполнения пакетов.

Установите конфигурацию concurrent_batches в false, чтобы гарантировать последовательную обработку пакетов. Например:

dbt_project.yml

models:
  my_project:
    cumulative_metrics_model:
      +concurrent_batches: false

models/my_model.sql

{{
  config(
    materialized='incremental',
    incremental_strategy='microbatch'
    concurrent_batches=false
  )
}}
select ...

Нашли ошибку?

Создать GitHub Issue