Оркестрация downstream exposures EnterpriseEnterprise +Beta

Используйте Cloud job scheduler в dbt, чтобы проактивно обновлять downstream exposures и базовые источники данных (extracts), которые используются в Tableau Workbooks, во время запланированных dbt jobs.

Доступно в private beta

Оркестрация exposures в настоящее время доступна в private beta для Enterprise‑аккаунтов dbt. Чтобы присоединиться к бете, обратитесь к вашему account representative.

Оркестрация exposures интегрируется с downstream exposures и использует ваш dbt build job, чтобы Tableau extracts регулярно обновлялись.

Вы можете управлять частотой этих обновлений, настраивая переменные окружения в вашем dbt environment.

 Differences between visualizing and orchestrating downstream exposures

В следующей таблице показаны основные различия между визуализацией и оркестрацией downstream exposures:

28 | | Информация | Настройка и визуализация нижестоящих экспозиций | Оркестрация нижестоящих экспозиций Beta | | ---- | ---- | ---- | | Purpose | Автоматически добавляет downstream‑активы в lineage dbt. | Проактивно обновляет базовые источники данных во время запланированных dbt jobs. | | Benefits | Обеспечивает видимость потоков данных и зависимостей. | Гарантирует, что BI‑инструменты всегда используют актуальные данные без ручного вмешательства. | | Location | Отображается в Catalog | Отображается в scheduler dbt | | Supported BI tool | Tableau | Tableau | | Use case | Помогает пользователям понять, как используются модели, и снижает количество инцидентов. | Оптимизирует своевременность и снижает затраты за счёт запуска моделей только при необходимости. |

Предварительные требования

Чтобы оркестрировать downstream exposures, необходимо выполнить следующие условия:

• Настроены downstream exposures и нужные exposures включены в lineage.
• Проверено, что environment и jobs используют поддерживаемый dbt release track.
• Наличие аккаунта dbt на тарифе Enterprise или Enterprise+.
• Создан production deployment environment для каждого проекта, который вы хотите использовать, с как минимум одним успешным запуском job.
• Наличие admin permissions в dbt для редактирования настроек проекта или production environment.
• Настроен Tableau personal access token (PAT), создатель которого имеет права на просмотр и обновление data sources, используемых вашими exposures. PAT наследует права своего создателя. Используйте PAT, созданный:
  • администратором Tableau Server или Tableau Site;
  • владельцем data source или project leader.

Оркестрация downstream exposures

Чтобы оркестрировать downstream exposures и видеть, как обновление происходит автоматически во время запланированных dbt jobs:

1. В dbt нажмите Deploy, затем Environments, и выберите вкладку Environment variables.
2. Нажмите Add variable и задайте environment level variable DBT_ACTIVE_EXPOSURES со значением 1 в том environment, где должно происходить обновление.
3. Затем задайте DBT_ACTIVE_EXPOSURES_BUILD_AFTER, чтобы контролировать максимальную частоту обновлений (в минутах) между каждым обновлением exposure.
4. По умолчанию установите значение 1440 минут (24 часа). Это означает, что downstream exposures не будут обновлять Tableau extracts чаще этого интервала, даже если связанные модели запускаются чаще.
   Установите переменную окружения `DBT_ACTIVE_EXPOSURES` в `1`.
5. Запустите job в production. Вы будете видеть обновление при каждом запуске job в production.
   • Если job запускается до истечения заданного интервала, dbt пропускает обновление downstream exposure и помечает его как skipped в job logs.
6. Просматривайте логи downstream exposure в dbt run job logs.
   Просматривайте логи downstream exposures в логах выполнения dbt job.
   • Для диагностики проблем смотрите дополнительные детали в debug logs.

Нашли ошибку?

Создать GitHub Issue