concurrent_batches

примечание

Доступно в dbt Core версии 1.9+ или в dbt Cloud "Latest" релизных треках.

Project file

dbt_project.yml

models:
  +concurrent_batches: true

sql file

models/my_model.sql

{{
  config(
    materialized='incremental',
    concurrent_batches=true,
    incremental_strategy='microbatch'
        ...
  )
}}
select ...

Определение

concurrent_batches — это параметр, который позволяет вам решить, хотите ли вы запускать пакеты параллельно или последовательно (по одному за раз).

Для получения дополнительной информации обратитесь к как работает выполнение пакетов.

Пример

По умолчанию dbt автоматически определяет, могут ли пакеты выполняться параллельно для моделей с микропакетами. Однако вы можете переопределить это определение dbt, установив конфигурацию concurrent_batches в false в вашем файле dbt_project.yml или в модели .sql, чтобы указать параллельное или последовательное выполнение, если вы соответствуете следующим условиям:

• Вы настроили стратегию инкрементального обновления микропакетами.
• Вы работаете с накопительными метриками или любой логикой, зависящей от порядка выполнения пакетов.

Установите конфигурацию concurrent_batches в false, чтобы гарантировать последовательную обработку пакетов. Например:

dbt_project.yml

models:
  my_project:
    cumulative_metrics_model:
      +concurrent_batches: false

models/my_model.sql

{{
  config(
    materialized='incremental',
    incremental_strategy='microbatch'
    concurrent_batches=false
  )
}}
select ...