Настройка автоматических exposures в Tableau

Настройте автоматическое заполнение downstream exposures для поддерживаемых интеграций с BI-инструментами, такими как Tableau. Визуализируйте их и управляйте их выполнением с помощью dbt Catalog и планировщика заданий dbt, чтобы расширить возможности работы с ними.

Команде по работе с данными крайне важно понимать, как и кем используются ее продукты данных в зависимых системах. Автоматические downstream exposures позволяют:

• Лучше понимать, как модели используются в зависимых аналитических системах, улучшая управление данными и принятие решений.
• Сокращать количество инцидентов и оптимизировать рабочие процессы, связывая исходные модели с зависимыми от них объектами.
• Автоматизировать отслеживание exposures для поддерживаемых BI-инструментов, поддерживая актуальность графа происхождения данных.
• Оркестрировать exposures для обновления базовых источников данных во время запланированных заданий dbt, повышая своевременность обновлений и снижая затраты. Оркестрация exposures позволяет обеспечить регулярное обновление BI-инструментов с помощью планировщика заданий dbt. Подробнее см. на предыдущей странице.

В dbt можно настроить downstream exposures двумя способами:

• Вручную — Явно объявить их в YAML-файлах проекта.
• Автоматически — dbt автоматически создает и визуализирует downstream exposures для поддерживаемых интеграций, устраняя необходимость вручную описывать их в YAML. Эти downstream exposures хранятся в системе метаданных dbt, отображаются в Catalog и работают так же, как exposures, созданные вручную. Однако в YAML-файлах их нет.

Tableau Server

Если вы используете Tableau Server, необходимо добавить IP-адреса dbt для вашего региона в список разрешенных.

Предварительные требования

Для настройки автоматических downstream exposures должны выполняться следующие условия:

1. Ваша среда и задания используют поддерживаемый канал выпуска dbt.
2. У вас есть учетная запись dbt с тарифным планом Enterprise или Enterprise+.
3. Для каждого проекта, который вы хотите исследовать, настроена среда развертывания production, в которой успешно выполнено хотя бы одно задание.
4. У вас есть необходимые разрешения для изменения настроек проекта или среды production в dbt.
5. Вы используете Tableau в качестве BI-инструмента и включили разрешения на доступ к метаданным самостоятельно или с помощью администратора. Поддерживаются Tableau Cloud и Tableau Server с включенным Metadata API.
6. Вы настроили персональный токен доступа Tableau (PAT), создатель которого имеет разрешение на просмотр источников данных. PAT наследует разрешения своего создателя, поэтому убедитесь, что у пользователя Tableau, создавшего токен, есть разрешения Connect.

Особенности и ограничения

При настройке автоматических downstream exposures с Tableau необходимо учитывать следующее:

• Вы можете подключиться только к одному сайту Tableau на одном сервере.

• Если вы используете Tableau Server, необходимо добавить IP-адреса dbt в список разрешённых для вашего региона dbt.

• Дашборды Tableau, созданные с использованием пользовательских SQL-запросов, не поддерживаются.

• Зависимые экспозиции синхронизируются автоматически один раз в день или когда пользователь обновляет выбранные коллекции.

•  Полные имена (FQN) баз данных в Tableau должны совпадать с именами в сборке dbt.

  Полные имена (FQN) баз данных в Tableau должны совпадать с именами в сборке dbt. Чтобы в вашей экспозиции отображались все ожидаемые зависимости, FQN должны совпадать, но регистр символов не учитывается. Например:

  FQN в Tableau	FQN в dbt	Результат
  analytics.dbt_data_team.my_model	analytics.dbt_data_team.my_model	✅ Совпадает, зависимости будут отображаться корректно.
  analytics.dbt_data_team.my_model	prod_analytics.dbt_data_team.my_model	❌ Не совпадает, не все ожидаемые зависимости будут отображаться.

  Чтобы устранить эту проблему:

  1. В dbt скачайте manifest.json из последнего запуска в production, который включает недостающие зависимости: откройте вкладку Artifacts и прокрутите страницу до manifest.json.

  2. Выполните следующий запрос GraphiQl. Обязательно выполните запрос по адресу your_tableau_server/metadata/graphiql, где your_tableau_server — значение, указанное в поле Server URL при настройке интеграции с Tableau:

         query {
           workbooks {
             name
             uri
             id
             luid
             projectLuid
             projectName
             upstreamTables {
               id
               name
               schema
               database {
                 name
                 connectionType
             }
           }
         }
       }

     Сообщить об ошибке в коде

  3. Сравните полные имена объектов базы данных (FQN) в manifest.json и ответе GraphiQL. Убедитесь, что {database}.{schema}.{name} совпадает в обоих источниках. На следующих изображениях показаны примеры FQN, которые совпадают в manifest.json и ответе GraphiQL без учёта регистра:

  Пример manifest.json с FQN в нижнем регистре.

  Пример ответа GraphiQL с FQN в верхнем регистре.

  4. Если FQN не совпадают, обновите FQN в Tableau так, чтобы они совпадали с FQN в dbt.
  5. Если проблема сохраняется, обратитесь в службу поддержки dbt и передайте им результаты проверки.

Настройка downstream exposures

Настройте downstream exposures в Tableau и dbt, чтобы обеспечить автоматическое обновление экстрактов вашего BI-инструмента.

Настройка в Tableau

В этом разделе описаны шаги настройки интеграции в Tableau. Эти шаги должен выполнить администратор сайта Tableau.

После настройки в Tableau и dbt вы сможете просматривать downstream exposures в Catalog.

1. Включите персональные токены доступа (PAT) для своей учетной записи Tableau.

   Включение PAT для учетной записи Tableau

2. Создайте PAT для добавления в dbt, чтобы получать метаданные Tableau для downstream exposures. При создании токена у вас должно быть разрешение на доступ к коллекциям и папкам, поскольку PAT предоставляет доступ только в пределах существующих прав его создателя.

   Создание PAT для учетной записи Tableau

3. Скопируйте Secret и Token name для использования на одном из следующих шагов в dbt. Секрет отображается только один раз, поэтому сохраните его в безопасном месте (например, в менеджере паролей).

   Копирование секрета и имени токена для ввода в dbt

4. Скопируйте Server URL и Sitename. Их можно найти в URL после входа в Tableau.

   Поиск Server URL и Sitename в Tableau

   Например, если полный URL выглядит так: 10az.online.tableau.com/#/site/dbtlabspartner/explore:

   • Server URL — это полное доменное имя, в данном случае: 10az.online.tableau.com
   • Sitename — это фрагмент пути сразу после site в URL, в данном случае: dbtlabspartner

5. Скопировав следующие данные, вы можете перейти к настройке downstream exposures в dbt:

   • ServerURL
   • Sitename
   • Token name
   • Secret

Настройка в dbt

1. В dbt перейдите на Dashboard проекта, в который хотите добавить downstream exposure, затем выберите Settings.

2. В разделе Exposures выберите Add lineage integration, чтобы добавить подключение к Tableau.

   Выберите Add lineage integration, чтобы добавить подключение к Tableau.

3. Введите данные подключения для exposures, полученные из Tableau на предыдущем шаге, и нажмите Continue. Обратите внимание: все поля чувствительны к регистру.

   Введите данные подключения для exposures.

4. Выберите коллекции, которые хотите включить в downstream exposures, и нажмите Save.

   Выберите коллекции, которые хотите включить в downstream exposures.
   к сведению

   dbt автоматически импортирует и синхронизирует все рабочие книги из выбранных коллекций. Новые объекты, добавленные в коллекции, появляются на графе происхождения данных в dbt раз в сутки — после ежедневной синхронизации и выполнения задания.

   dbt запускает синхронизацию сразу после изменения списка выбранных коллекций, добавляя новые рабочие книги и удаляя те, которые больше не относятся к выбранным коллекциям.

5. dbt импортирует все содержимое выбранных коллекций, после чего вы можете перейти к его просмотру в Catalog.

   Отображение в dbt Catalog на графе происхождения данных проекта со значком Tableau.

Просмотр downstream exposures

После настройки зависимых exposures в dbt вы можете просматривать их в Catalog, где доступны расширенные возможности работы с ними.

Перейдите в Catalog, выбрав Catalog в верхнем меню навигации. Просматривать зависимые exposures можно в нескольких местах:

• Меню Exposures
• Страница сведений об exposure
• Граф зависимостей проекта

Меню Exposures

Просматривайте все зависимые exposures проекта на боковой панели Catalog:

1. На боковой панели выберите свой проект.
2. В разделе проекта выберите Exposure. Этот пункт отображается только в том случае, если вы настроили зависимые exposures в Tableau и dbt.

В таблице Exposures перечислены все exposures проекта, что позволяет быстро находить их и управлять ими:

• Name: имя exposure.
• Health: сигнал о состоянии данных для exposure.
• Type: тип exposure, например dashboard или notebook.
• Owner: владелец exposure.
• Owner email: адрес электронной почты владельца exposure.
• Integration: BI-инструмент, с которым интегрирован exposure.
• Exposure mode: заданный режим создания exposure: Auto или Manual. Автоматически созданные exposures из Tableau отображаются вместе с exposures, созданными вручную

Просмотр таблицы Exposures через боковую панель Catalog.

Страница сведений об exposure

Открыв таблицу Exposures (предыдущий раздел), выберите имя exposure, чтобы открыть страницу сведений о нём.

На странице сведений об exposure можно просмотреть метаданные, сигналы о состоянии данных, описание и граф зависимостей. Для автоматически созданных exposures из Tableau используйте Open in Dashboard, чтобы открыть рабочую книгу в Tableau, или Modify integration, чтобы изменить настройки подключения к Tableau.

Просмотр страницы сведений об exposure в Catalog.

Граф зависимостей проекта

Вы также можете просматривать exposures в представлении Project lineage, отдельно от таблицы Exposures:

1. На боковой панели выберите свой проект.
2. Нажмите View lineage.
3. Выберите узел exposure со значком Tableau, чтобы просмотреть сведения о нём на боковой панели.

Это представление визуализирует зависимости и связи в вашем проекте. Для автоматически созданных exposures из Tableau используйте View in Tableau или Modify integration на боковой панели.

Просмотр exposure со значком Tableau в представлении графа зависимостей проекта в dbt Catalog.

Просмотр exposure со значком Tableau в представлении графа зависимостей проекта в dbt Catalog.

Оркестрация exposures Бета-версияEnterpriseEnterprise +

Оркестрируйте exposures с помощью планировщика заданий dbt Cloud, чтобы заблаговременно обновлять базовые источники данных (экстракты), используемые в рабочих книгах Tableau.

Эта возможность в бета-версии требует, чтобы задания развертывания использовали v1 Latest с dbt v1, и недоступна в v2 Stable. Подробности настройки см. в разделе Оркестрация exposures.

• Оркестрация exposures с помощью задания dbt build обеспечивает регулярное автоматическое обновление downstream exposures, таких как экстракты Tableau.
• Вы можете управлять частотой этих обновлений, настраивая переменные среды.

Инструкции по настройке и заблаговременному запуску exposures с помощью планировщика заданий dbt см. в разделе Оркестрация exposures.

Нашли ошибку?

Создать GitHub Issue