Перейти к основному содержимому

Оркестрация зависимых экспозиций Бета-версия

Используйте планировщик заданий dbt platform, чтобы заблаговременно обновлять зависимые экспозиции и лежащие в их основе источники данных (экстракты), которые используются в ваших рабочих книгах Tableau.

(Версии dbt: v2.0 и новее)
dbt v2 не поддерживается в этой бета-версии

Оркестрация зависимых экспозиций недоступна, если ваши развертывания используют v2 Stable. Поддерживаемые задания должны использовать v1 Latest с движком dbt v1.

В канале выпуска v2 Stable оркестрация зависимых экспозиций пока не поддерживается. Установка DBT_ACTIVE_EXPOSURES и DBT_ACTIVE_EXPOSURES_BUILD_AFTER не включит функции оркестрации (например, обновление экстрактов Tableau) или соответствующие записи в журналах заданий.

Закрытая бета-версия предназначена для учетных записей dbt Enterprise. Для получения доступа обратитесь к представителю, обслуживающему вашу учетную запись.

Оркестрация экспозиций интегрируется с зависимыми экспозициями и использует ваше задание dbt build, чтобы обеспечить регулярное обновление экстрактов Tableau.

Вы можете управлять частотой этих обновлений, настраивая переменные окружения в вашем dbt environment.

 Различия между визуализацией и оркестрацией зависимых экспозиций

В следующей таблице показаны основные различия между визуализацией и оркестрацией downstream exposures:

ИнформацияНастройка и визуализация зависимых экспозицийОркестрация зависимых экспозиций Бета-версия
PurposeАвтоматически добавляет downstream‑активы в lineage dbt.Проактивно обновляет базовые источники данных во время запланированных dbt jobs.
BenefitsОбеспечивает видимость потоков данных и зависимостей.Гарантирует, что BI‑инструменты всегда используют актуальные данные без ручного вмешательства.
LocationОтображается в CatalogОтображается в scheduler dbt
Поддерживаемый инструмент BITableauTableau
Use caseПомогает пользователям понять, как используются модели, и снижает количество инцидентов.Оптимизирует своевременность и снижает затраты за счёт запуска моделей только при необходимости.

Предварительные требования​

Чтобы оркестрировать downstream exposures, необходимо выполнить следующие условия:

  • Настроили зависимые экспозиции и убедились, что нужные экспозиции включены в граф происхождения данных.
  • Проверено, что environment и jobs используют поддерживаемый dbt release track.
  • Наличие аккаунта dbt на тарифе Enterprise или Enterprise+.
  • Создан production deployment environment для каждого проекта, который вы хотите использовать, с как минимум одним успешным запуском job.
  • Имеете права администратора в dbt для изменения настроек проекта или производственной среды.
  • Настроен Tableau personal access token (PAT), создатель которого имеет права на просмотр и обновление data sources, используемых вашими exposures. PAT наследует права своего создателя. Используйте PAT, созданный:
    • администратором Tableau Server или Tableau Site;
    • владельцем data source или project leader.

Оркестрация downstream exposures​

Чтобы оркестрировать зависимые экспозиции и автоматически обновлять их при выполнении заданий по расписанию в Latest с движком dbt v1:

  1. В dbt platform нажмите Deploy, затем Environments, и выберите вкладку Environment variables.
  2. Нажмите Add variable и задайте environment level variable DBT_ACTIVE_EXPOSURES со значением 1 в том environment, где должно происходить обновление.
  3. Затем задайте DBT_ACTIVE_EXPOSURES_BUILD_AFTER, чтобы контролировать максимальную частоту обновлений (в минутах) между каждым обновлением exposure.
  4. По умолчанию установите значение 1440 минут (24 часа). Это означает, что downstream exposures не будут обновлять Tableau extracts чаще этого интервала, даже если связанные модели запускаются чаще.
    Установите для переменной среды `DBT_ACTIVE_EXPOSURES` значение `1`.Установите для переменной среды `DBT_ACTIVE_EXPOSURES` значение `1`.
  5. Запустите производственное задание в Latest с dbt v1. Каждый запуск может инициировать обновление зависимой экспозиции; если задание запускается до истечения настроенного интервала, dbt пропускает обновление зависимой экспозиции и отмечает его как skipped в журналах задания.
  6. Просмотрите записи о зависимых экспозициях в журналах запуска задания.
    Просмотрите журналы зависимых экспозиций в журналах запуска задания dbt.Просмотрите журналы зависимых экспозиций в журналах запуска задания dbt.
    • Для диагностики проблем смотрите дополнительные детали в debug logs.

Нашли ошибку?

0
Loading