Перейти к основному содержимому

Об оркестрации с учетом состояния Закрытая предварительная версия

При каждом запуске job state-aware orchestration автоматически определяет, какие модели нужно собрать, обнаруживая изменения в коде или данных.

Оркестрация с учетом состояния теперь называется dbt State

dbt State работает со всеми движками и средами: dbt v1, dbt platform и dbt v2

Если вы использовали оркестрацию с учетом состояния до 1 июня 2026 года, вы можете продолжать ее использовать. Когда вы начнете бесплатный пробный период dbt State, он будет продлен сверх стандартных 30 дней. Если продление не применено к вашей учетной записи, обратитесь к команде по работе с вашим аккаунтом. Чтобы начать, ознакомьтесь с разделом Переход с оркестрации с учетом состояния.

Важно

dbt v2 доступен для установки в следующих средах:

Присоединяйтесь к обсуждению в канале #dbt-v2 в Slack сообщества dbt.

State-aware orchestration помогает экономить вычислительные ресурсы и сокращать время выполнения, потому что при запуске job она проверяет наличие новых записей и собирает только те модели, которые действительно изменятся.

Оркестрация с учетом состояния на базе dbt v2Оркестрация с учетом состояния на базе dbt v2

Мы построили оркестрацию с учетом состояния в dbt на четырех основных принципах:

  • Общее состояние в реальном времени: Все задания записывают данные в общее состояние на уровне моделей в реальном времени, позволяя dbt пересобирать только измененные модели независимо от того, в каких заданиях они собираются.
  • Очередь на уровне моделей: Задания выстраиваются в очередь на уровне моделей, что позволяет избежать любых «коллизий» и предотвратить повторную сборку моделей, которые только что были обновлены другим заданием.
  • Поддержка работы с учетом и без учета состояния: Вы можете формировать задания динамически (с учетом состояния) или явно (без учета состояния). Оба подхода обновляют общее состояние, обеспечивая синхронизацию всех изменений.
  • Разумные настройки по умолчанию: Оркестрация с учетом состояния работает сразу после включения (без дополнительных настроек), а для более тонкого управления предусмотрен необязательный параметр конфигурации. Подробнее см. в разделе расширенные настройки оркестрации с учетом состояния.
примечание

Оркестрация с учетом состояния не зависит от статического анализа и работает, даже когда static_analysis отключен.

Оптимизация сборок с помощью state-aware orchestration​

Оркестрация с учетом состояния использует отслеживание общего состояния, чтобы определять, какие модели нужно построить, выявляя изменения в коде или данных при каждом запуске задания. Она также поддерживает настраиваемые интервалы обновления и настройки свежести источников, поэтому dbt перестраивает модели только тогда, когда это действительно необходимо.

Например, вы можете настроить проект так, чтобы dbt пропускал перестроение модели dim_wizards (и ее родительских моделей), если они уже обновлялись за последние 4 часа, даже если само задание запускается чаще.

Без каких-либо дополнительных настроек оркестрация с учетом состояния в dbt автоматически определяет необходимость построения моделей при изменении кода или появлении новых данных в источнике (или в вышестоящей модели в случае dbt Mesh).

Примечание: Если модель не проходит тест данных, оркестрация с учетом состояния перестраивает ее при последующих запусках, а не использует повторно из предыдущего состояния. Это гарантирует, что dbt повторно проверяет модели с нерешенными проблемами качества данных.

Обработка параллельных заданий​

Не поддерживается в dbt State

В dbt State обработка параллельных заданий работает иначе. Полный список различий в поведении приведен в разделе Известные отличия от оркестрации с учетом состояния.

Если два отдельных задания зависят от одной и той же нижестоящей модели (например, model_ab) и оба обнаруживают изменения в вышестоящих ресурсах (updates_on = any), модель model_ab может быть построена дважды — по одному разу для каждого задания. Однако если model_ab уже была построена и с тех пор ничего не изменилось, ни одно из заданий не будет ее перестраивать. Вместо этого оба задания повторно используют существующую версию.

При оркестрации с учетом состояния все задания читают и записывают данные в одно и то же общее состояние и строят модель только при изменении состояния кода или данных. Это означает, что каждое задание самостоятельно оценивает необходимость перестроения модели на основе ее скомпилированного кода и состояния вышестоящих данных.

Что происходит, когда задания выполняются одновременно:

  • Если оба задания доходят до одной и той же модели в один и тот же момент, одно из них ожидает завершения другого. Это предотвращает конфликты в хранилище данных, когда два задания пытаются одновременно построить одну и ту же модель.
  • После того как первое задание завершит построение модели, второе задание все равно проверяет, нужно ли ее перестраивать. Если появились новые данные или изменения кода, которые необходимо учесть, второе задание строит модель заново. Если изменений нет и построение модели дало бы тот же результат, второе задание повторно использует модель.

Чтобы избежать слишком частого построения в рамках задания даже при изменении состояния кода или данных, можно снизить частоту построения с помощью настройки build_after. Информацию об использовании build_after см. в разделах Свежесть моделей и Расширенные настройки.

Обработка удаленных таблиц​

Оркестрация с учетом состояния обнаруживает удаление таблиц моделей в хранилище и перестраивает эти модели, даже если код и данные не изменились.

При удалении таблицы в хранилище:

  • dbt выдает предупреждение об отсутствии ожидаемой таблицы.
  • Соответствующая модель ставится в очередь на перестроение в ходе текущего запуска, даже если код и данные не изменились.

Такое поведение обеспечивает согласованность между состоянием dbt и фактическим состоянием хранилища. Оно также уменьшает необходимость вручную очищать кеш или отключать оркестрацию с учетом состояния, когда модели изменяются вне dbt.

Эффективное тестирование в state-aware orchestration Закрытая бета-версия​

Функция в закрытой бета-версии

Возможности оркестрации с учетом состояния в dbt platform доступны только в dbt v2. Свяжитесь с вашим менеджером по работе с клиентами, чтобы включить dbt v2 в вашей учетной записи.

Качество данных может ухудшаться по двум причинам:

  • Новые изменения в коде меняют определения или добавляют граничные случаи.
  • Новые данные, например дубликаты или неожиданные значения, делают downstream‑метрики некорректными.

Запуск стандартных data tests dbt (unique, not_null, accepted_values, relationships) при каждой сборке помогает выявлять ошибки в данных до того, как они повлияют на бизнес‑решения. Однако для этого часто требуется несколько тестов на каждую модель и выполнение тестов даже тогда, когда в них нет необходимости. Если ничего значимого не изменилось, повторные запуски тестов не повышают покрытие и лишь увеличивают стоимость.

Благодаря dbt v2 dbt понимает SQL-код на основе логического плана скомпилированного кода. Это позволяет dbt определять, когда тест необходимо запустить повторно, а когда можно повторно использовать предыдущий результат теста вышестоящей зависимости.

Эффективное тестирование в state-aware orchestration снижает затраты на хранилище данных за счёт исключения избыточных data tests и объединения нескольких тестов в один запуск. Эта функциональность включает две оптимизации:

В настоящее время эффективное тестирование доступно только в заданиях развертывания, но не в заданиях непрерывной интеграции (CI) или слияния.

Поддерживаемые тесты данных​

Поддерживаемые data tests​

Следующие тесты могут быть переиспользованы при включённом Efficient testing:

Включение Efficient testing​

Прежде чем включать эффективное тестирование, убедитесь, что вы настроили static_analysis.

Чтобы включить Efficient testing:

  1. В главном меню перейдите в Orchestration > Jobs.
  2. Выберите задание развертывания. Перейдите к настройкам задания и нажмите Edit.
  3. В разделе Enable dbt v2 cost optimization features раскройте More options.
  4. Выберите Efficient testing. По умолчанию эта функция отключена.
  5. Нажмите Save.

Пример​

В следующем запросе выполняется join таблиц orders и customers:

with

orders as (

select * from {{ ref('orders') }}

),

customers as (

select * from {{ ref('customers') }}

),

joined as (

select
customers.customer_id as customer_id,
orders.order_id as order_id
from customers
left join orders
on orders.customer_id = customers.customer_id

)

select * from joined
  • Тест not_null: left join может привести к появлению null‑значений для клиентов без заказов. Даже если upstream‑тесты проверили not_null(order_id) в orders, join может создать null‑значения downstream. Поэтому dbt всегда должен запускать тест not_null для order_id в этом результате.

  • Тест unique: если orders.order_id и customers.customer_id уникальны upstream, уникальность order_id сохраняется, и можно переиспользовать результат upstream‑теста.

Ограничения​

Ниже приведены важные моменты, которые следует учитывать при использовании Efficient testing в state-aware orchestration:

  • Агрегированные тесты не поддерживают пользовательские конфигурации. Тесты, в которых используются следующие custom config options, будут выполняться отдельно, а не в составе агрегированного пакета:

    config:
    fail_calc: <string>
    limit: <integer>
    severity: error | warn
    error_if: <string>
    warn_if: <string>
    store_failures: true | false
    where: <string>
  • Оптимизированное тестирование доступно только в заданиях развёртывания. В заданиях CI и слияния включить его пока нельзя.

Что произошло с оркестрацией с учетом состояния?

Нашли ошибку?

0
Loading