Настройка автоматических downstream exposures в Tableau EnterpriseEnterprise +

Настройте и автоматически заполняйте downstream exposures для поддерживаемых интеграций с BI‑инструментами, такими как Tableau. Визуализируйте и оркестрируйте их с помощью dbt Catalog и планировщика заданий dbt, чтобы получить более полный и удобный опыт работы.

Для data‑команды критически важно понимать контекст downstream‑сценариев использования и пользователей ваших дата‑продуктов. Используя автоматические downstream exposures, вы можете:

• Лучше понимать, как модели используются в downstream‑аналитике, что улучшает управление данными и качество принимаемых решений.
• Снижать количество инцидентов и оптимизировать рабочие процессы, связывая upstream‑модели с downstream‑зависимостями.
• Автоматизировать отслеживание exposures для поддерживаемых BI‑инструментов, гарантируя, что lineage всегда актуален.
• Оркестрировать exposures для обновления базовых источников данных во время запланированных заданий dbt, повышая своевременность обновлений и снижая затраты. Оркестрация exposures — это способ гарантировать, что ваши BI‑инструменты регулярно обновляются с использованием планировщика заданий dbt. Подробнее см. на предыдущей странице.

В dbt вы можете настраивать downstream exposures двумя способами:

• Вручную — явно объявляя их в YAML‑файлах проекта.
• Автоматически — dbt создаёт и визуализирует downstream exposures автоматически для поддерживаемых интеграций, избавляя от необходимости вручную описывать их в YAML. Эти downstream exposures хранятся в системе метаданных dbt, отображаются в Catalog и ведут себя так же, как и ручные exposures. Однако они не существуют в YAML‑файлах.

Tableau Server

Если вы используете Tableau Server, необходимо добавить IP‑адреса dbt для вашего региона в allowlist.

Предварительные требования

Для настройки автоматических downstream exposures необходимо выполнить следующие условия:

1. Ваша среда и задания используют поддерживаемый release track dbt.
2. У вас есть аккаунт dbt на тарифе Enterprise или Enterprise+.
3. Для каждого проекта, который вы хотите исследовать, настроена среда деплоя production с как минимум одним успешным запуском задания.
4. У вас есть необходимые права доступа для редактирования настроек проекта или production‑среды в dbt.
5. В качестве BI‑инструмента используется Tableau, и включены разрешения на работу с метаданными (или вы работаете с администратором, который может их включить). Поддерживаются Tableau Cloud или Tableau Server с включённым Metadata API.
6. Настроен Tableau personal access token (PAT), создатель которого имеет права на просмотр источников данных. PAT наследует права своего создателя, поэтому убедитесь, что пользователь Tableau, создавший токен, имеет права Connect.

Важные моменты

При настройке автоматических downstream exposures с Tableau необходимо учитывать следующее:

• Вы можете подключиться только к одному сайту Tableau на одном и том же сервере.

• Если вы используете Tableau Server, необходимо добавить IP-адреса dbt в allowlist для вашего региона dbt.

• Дашборды Tableau, построенные с использованием пользовательских SQL-запросов (custom SQL), не поддерживаются.

• Downstream exposures синхронизируются автоматически один раз в день или при обновлении пользователем выбранных коллекций.

•  Полностью квалифицированные имена баз данных (FQN) в Tableau должны совпадать с именами в dbt build.

  Полностью квалифицированные имена (FQN — fully qualified names) баз данных в Tableau должны совпадать с теми, что используются в dbt build. Чтобы в exposure отображались все ожидаемые зависимости, FQN должны совпадать, при этом регистр символов не имеет значения. Например:

  Tableau FQN	dbt FQN	Результат
  analytics.dbt_data_team.my_model	analytics.dbt_data_team.my_model	✅ Совпадает, зависимости будут отображаться корректно.
  analytics.dbt_data_team.my_model	prod_analytics.dbt_data_team.my_model	❌ Не совпадает, не все ожидаемые зависимости будут отображаться.

  Loading table...

  Для устранения проблем выполните следующие шаги:

  1. В dbt скачайте файл manifest.json из последнего production-запуска, который включает отсутствующие зависимости. Для этого перейдите на вкладку Artifacts и прокрутите до manifest.json.

  2. Выполните следующий запрос в GraphiQl. Убедитесь, что вы запускаете запрос по адресу your_tableau_server/metadata/graphiql, где your_tableau_server — это значение, которое вы указали в поле Server URL при настройке интеграции с Tableau:

         query {
           workbooks {
             name
             uri
             id
             luid
             projectLuid
             projectName
             upstreamTables {
               id
               name
               schema
               database {
                 name
                 connectionType
             }
           }
         }
       }

  3. Сравните FQN баз данных между manifest.json и ответом GraphiQl. Убедитесь, что {database}.{schema}.{name} совпадает в обоих источниках.
     Ниже приведены примеры FQN, которые совпадают как в manifest.json, так и в ответе GraphiQl, при этом регистр символов не учитывается:

  Пример manifest.json с FQN в нижнем регистре.

  Пример ответа GraphiQl с FQN в верхнем регистре.

  4. Если FQN не совпадают, обновите FQN в Tableau так, чтобы они соответствовали FQN в dbt.
  5. Если проблемы сохраняются, обратитесь в службу поддержки dbt и поделитесь с ними полученными результатами.

Настройка downstream exposures

Настройте downstream exposures в Tableau и в dbt, чтобы экстракты вашего BI‑инструмента обновлялись автоматически.

Настройка в Tableau

В этом разделе описаны шаги по настройке интеграции в Tableau. Эти действия должен выполнить администратор сайта Tableau.

После настройки как в Tableau, так и в dbt, вы сможете просматривать downstream exposures в Catalog.

1. Включите personal access tokens (PATs) для вашей учётной записи Tableau.

   Включение PATs для учётной записи в Tableau

2. Создайте PAT, который будет добавлен в dbt для загрузки метаданных Tableau для downstream exposures. При создании токена у вас должны быть права доступа к коллекциям/папкам, так как PAT предоставляет только те права, которыми уже обладает его создатель.

   Создание PAT для учётной записи в Tableau

3. Скопируйте Secret и Token name для использования на следующем шаге в dbt. Secret отображается только один раз, поэтому сохраните его в надёжном месте (например, в менеджере паролей).

   Копирование secret и token name для ввода в dbt

4. Скопируйте Server URL и Sitename. Их можно найти в URL, когда вы вошли в Tableau.

   Определение Server URL и Sitename в Tableau

   Например, если полный URL выглядит так: 10az.online.tableau.com/#/site/dbtlabspartner/explore:

   • Server URL — это полностью квалифицированное доменное имя, в данном случае: 10az.online.tableau.com
   • Sitename — это фрагмент пути сразу после site в URL, в данном случае: dbtlabspartner

5. После того как вы скопировали следующие данные, вы готовы настроить downstream exposures в dbt:

   • ServerURL
   • Sitename
   • Token name
   • Secret

Настройка в dbt

1. В dbt перейдите на Dashboard проекта, в который вы хотите добавить downstream exposure, и выберите Settings.

2. В разделе Exposures нажмите Add integration, чтобы добавить подключение к Tableau.

   Выбор Add Integration для добавления подключения Tableau

3. Введите данные для подключения exposure, полученные в Tableau на предыдущем шаге, и нажмите Continue. Обратите внимание, что все поля чувствительны к регистру.

   Ввод данных подключения exposure

4. Выберите коллекции, которые вы хотите включить для downstream exposures, и нажмите Save.

   Выбор коллекций для downstream exposures
   к сведению

   dbt автоматически импортирует и синхронизирует каждый workbook в выбранных коллекциях. Новые объекты, добавленные в коллекции, будут появляться в lineage в dbt один раз в день — после ежедневной синхронизации и запуска задания.

   dbt немедленно запускает синхронизацию при обновлении списка выбранных коллекций, добавляя новые workbooks и удаляя нерелевантные.

5. dbt импортирует всё содержимое выбранных коллекций, и вы сможете продолжить просмотр в Catalog.

   Вид из dbt Catalog в lineage проекта с иконкой Tableau

Просмотр downstream exposures

После настройки downstream exposures в dbt вы можете просматривать их в Catalog, что даёт более удобный и наглядный опыт работы.

Перейдите в Catalog, нажав на ссылку Explore в навигации. На странице Overview вы можете просмотреть downstream exposures из нескольких мест:

• Меню Exposures
• Дерево файлов
• Линейность проекта

Меню Exposures

Просматривайте нисходящие зависимости из пункта меню Exposures в разделе Resources. Это меню предоставляет исчерпывающий список всех экспозиций, чтобы вы могли быстро получать к ним доступ и управлять ими. В меню отображается следующая информация:

• Name: Название экспозиции.
• Health: Сигнал качества данных экспозиции.
• Type: Тип экспозиции, например dashboard или notebook.
• Owner: Владелец экспозиции.
• Owner email: Адрес электронной почты владельца экспозиции.
• Integration: BI-инструмент, с которым интегрирована экспозиция.
• Exposure mode: Определённый тип экспозиции: Auto или Manual.

Вид в dbt Catalog в меню «Resources».

Дерево файлов

Найдите экспозиции непосредственно в File tree (дереве файлов) внутри подпапки imported_from_tableau. Этот режим органично встраивает экспозиции в файлы вашего проекта, упрощая их поиск и использование в рамках структуры проекта.

Вид из dbt Catalog в меню «File tree».

Граф зависимостей проекта

В представлении Project lineage, которое визуализирует зависимости и связи в вашем проекте. Экспозиции отображаются с иконкой Tableau, что позволяет наглядно увидеть, как они вписываются в общий поток данных проекта.

Вид из dbt Catalog в представлении Project lineage, отображается с иконкой Tableau.

Вид из dbt Catalog в представлении Project lineage, отображается с иконкой Tableau.

Оркестрация exposures BetaEnterpriseEnterprise +

Оркестрируйте exposures с помощью планировщика заданий dbt Cloud, чтобы проактивно обновлять базовые источники данных (extracts), на которых основаны ваши Tableau Workbooks.

• Оркестрация exposures с заданием dbt build гарантирует, что downstream exposures, такие как Tableau extracts, обновляются регулярно и автоматически.
• Вы можете управлять частотой этих обновлений, настраивая переменные окружения.

Чтобы настроить и проактивно запускать exposures с помощью планировщика заданий dbt, см. раздел Orchestrate exposures.

Нашли ошибку?

Создать GitHub Issue