Плитка состояния данных
Плитки состояния данных позволяют заинтересованным сторонам с первого взгляда определить, устарели ли просматриваемые данные или ухудшилось ли их качество. С их помощью команды могут сразу вернуться в Catalog, чтобы узнать подробности и разобраться в проблемах.
Плитка состояния данных:
- Обобщает сигналы состояния данных для потребителей данных.
- Содержит прямые ссылки на Catalog, где можно подробнее изучить проблемы с данными на предыдущих этапах обработки.
- Предоставляет более подробную информацию и упрощает отладку.
- Обновляет существующие плитки на основе заданий.
Тайлы здоровья данных опираются на exposures, чтобы отображать сигналы здоровья данных на ваших дашбордах. Exposure определяет, как конкретные выходные артефакты — такие как дашборды или отчёты — зависят от ваших моделей данных. В dbt exposures можно настраивать двумя способами:
- Ручные — Определяются вручную и явно задаются в YAML-файлах вашего проекта.
- Автоматические — Автоматически загружаются для поддерживаемых интеграций dbt. dbt автоматически создаёт и визуализирует нижестоящие экспозиции, избавляя от необходимости вручную определять их в YAML. Эти нижестоящие экспозиции хранятся в системе метаданных dbt, отображаются в Catalog и ведут себя как ручные экспозиции, но не существуют в YAML-файлах.
Предварительные условия
- У вас должна быть учетная запись dbt на тарифном плане Enterprise.
- Для настройки сервисных токенов необходимо быть администратором учетной записи.
- У вас должны быть права на разработку.
- В вашем проекте должны быть определены exposures:
- Если вы используете exposures, задаваемые вручную, они должны быть явно определены в ваших YAML-файлах.
- Если вы используете автоматические downstream exposures, убедитесь, что ваш BI-инструмент настроен для интеграции с dbt.
- В задании, которое создает этот exposure, должна быть включена проверка актуальности источников.
- Для exposure, используемого в плитке состояния данных, свойство
typeдолжно иметь значениеdashboard. В противном случае в Catalog не будет отображаться раскрывающийся список Встроить плитку состояния данных в ваш дашборд.
Просмотр exposure в dbt Catalog
Сначала убедитесь, что включена свежесть источников в задании, которое генерирует эту экспозицию.
- Перейдите в Catalog, нажав ссылку Catalog в меню навигации.
- На главной странице Overview перейдите к левому меню навигации.
- Нажмите Exposures, чтобы просмотреть список экспозиций.
- Выберите экспозицию дашборда и перейдите на вкладку General, чтобы просмотреть информацию о состоянии данных.
- На этой вкладке вы увидите:
- Название экспозиции в верхней части страницы.
- Тип ресурса (например, Exposure) и отметку времени Updated at.
- Раздел Data health, в котором указано время последней завершённой проверки — Last check completed (время, прошедшее с момента выполнения проверки).
- Сводку о свежести данных (например, Data is fresh) и разбивку по вышестоящим источникам Sources (свежие, с задержкой, устаревшие, пропущенные, неактуальные, ненастроенные).
- Сводку о качестве данных (например, Data quality passed) и разбивку по вышестоящим моделям Models и тестам Tests.
- Вы можете нажать кнопку Open in Dashboard в правом верхнем углу, чтобы сразу открыть дашборд в своём инструменте аналитики.
Встраивание в вашу панель
Перейдя к экспозиции в Catalog, вам нужно будет настроить плитку состояния данных и сервисный токен. Вы можете встроить плитку состояния данных в любой аналитический инструмент, поддерживающий встраивание URL или iFrame.
Следуйте этим шагам, чтобы настроить плитку состояния данных:
- Перейдите в Account settings в dbt.
- Выберите API tokens на левой боковой панели, а затем Service tokens.
- Нажмите Create service token и задайте имя токена.
- Выберите разрешение Metadata Only. Этот токен будет использоваться для встраивания плитки в ваш дашборд на последующих шагах.
-
Скопируйте токен Metadata Only и сохраните его в безопасном месте. Он понадобится вам на следующих шагах.
-
Вернитесь в Catalog и выберите экспозицию.
подсказкаУ экспозиции, используемой для плитки состояния данных, свойство
typeдолжно иметь значениеdashboard. В противном случае раскрывающийся блок Embed data health tile in your dashboard не будет отображаться в Catalog. -
Под разделом Data health раскройте блок с инструкциями по встраиванию плитки экспозиции (если вы администратор аккаунта с разрешениями на разработку).
-
В раскрытом блоке вы увидите текстовое поле, в которое можно вставить ваш токен Metadata Only.
- После того как вы вставили ваш токен, вы можете выбрать либо URL, либо iFrame в зависимости от того, что вам нужно добавить на вашу панель.
Если ваш аналитический инструмент поддерживает iFrames, вы можете встроить в него тайл дашборда.
Если ваш инструмент аналитики поддерживает iFrame, вы можете встроить в него плитку дашборда.
Примеры
В следующих примерах показано, как встроить плитку состояния данных в Omni, PowerBI, Tableau и Sigma.
- Omni example
- Пример для PowerBI
- Пример для Tableau
- Пример для Sigma
Чтобы встроить плитку состояния данных в Omni:
-
Создайте дашборд в Omni.
-
Скопируйте код iFrame из раздела Data health в Catalog под переключателем Embed data health into your dashboard.
-
Добавьте на дашборд текстовый или Markdown-элемент с кодом из предыдущего шага. Он должен выглядеть так:
<iframe src='https://YOUR_ACCOUNT_PREFIX.metadata.REGION.dbt.com/exposure-tile?uniqueId=exposure.EXPOSURE_NAME&environmentType=production&environmentId=ENV_ID_NUMBER&token=<YOUR_METADATA_TOKEN>' title='Exposure Status Tile'></iframe> -
Сохраните плитку. На дашборде Omni появится плитка состояния данных, размещённая на dbt platform. Она автоматически обновляется в зависимости от состояния среды dbt.
Вы можете встроить iFrame плитки состояния данных в PowerBI, используя PowerBI Pro Online, Fabric PowerBI или PowerBI Desktop.
Следуйте этим шагам, чтобы встроить плитку состояния данных в PowerBI:
- Создайте панель в PowerBI и подключитесь к вашей базе данных, чтобы загрузить данные.
- Создайте новую меру PowerBI, щелкнув правой кнопкой мыши на Data, More options, затем New measure.
-
Перейдите в Catalog, выберите экспозицию и разверните раздел Встройте индикатор состояния данных в свой дашборд.
-
Перейдите на вкладку iFrame и скопируйте код iFrame. Убедитесь, что токен Metadata Only уже настроен.
-
В PowerBI вставьте скопированный код iFrame в окно вычисления меры. Код iFrame должен выглядеть следующим образом:
<iframe src='https://1234.metadata.ACCESS_URL/exposure-tile?uniqueId=exposure.EXPOSURE_NAME&environmentType=staging&environmentId=123456789&token=YOUR_METADATA_TOKEN' title='Exposure status tile' height='400'></iframe> -
PowerBI Desktop не поддерживает рендеринг HTML по умолчанию, поэтому вам нужно установить компонент HTML из PowerBI Visuals Store.
-
Для этого перейдите в Build visuals, затем Get more visuals.
-
Войдите в систему с вашей учетной записью PowerBI.
-
Существует несколько сторонних HTML визуализаций. Тот, который был протестирован для этого руководства, это HTML content. Установите его, но имейте в виду, что это сторонний плагин, не созданный и не поддерживаемый dbt Labs.
-
Перетащите метрику с кодом iFrame в виджет HTML content в PowerBI. Теперь это должно отображать вашу плитку состояния данных.
Перетащите метрику с кодом iFrame в виджет HTML content в PowerBI. Теперь это должно отображать вашу плитку состояния данных.Обратитесь к этому руководству для получения дополнительной информации о встраивании веб-сайта в ваш отчет Power BI.
Следуйте этим шагам, чтобы встроить плитку состояния данных в Tableau:
-
Создайте дашборд в Tableau и подключитесь к своей базе данных, чтобы загрузить данные.
-
Скопируйте URL или фрагмент iFrame из раздела Data health в Catalog, раскрыв пункт Embed data health into your dashboard.
-
Вставьте объект Web Page.
-
Вставьте скопированный URL и нажмите Ok.
URL, скопированный из Catalog, выглядит примерно так, как показано ниже, но может содержать дополнительные параметры, специфичные для Tableau (например,
biResourceIdиautoBiProvider=tableau), которые необходимы для определения экспозиции:https://metadata.ACCESS_URL/exposure-tile?uniqueId=exposure.EXPOSURE_NAME&environmentType=production&environmentId=220370&token=<YOUR_METADATA_TOKEN> -
Теперь вы должны увидеть плитку состояния данных, встроенную в вашу панель мониторинга Tableau.
Следуйте этим шагам, чтобы встроить плитку состояния данных в Sigma:
-
Создайте дашборд в Sigma и подключитесь к своей базе данных, чтобы загрузить данные.
-
Убедитесь, что вы скопировали URL или фрагмент кода iFrame из раздела Состояние данных в Catalog, раскрыв пункт Встроить сведения о состоянии данных в дашборд.
-
Добавьте новый встраиваемый элемент интерфейса в свою рабочую книгу Sigma в следующем формате:
https://metadata.ACCESS_URL/exposure-tile?uniqueId=exposure.EXPOSURE_NAME&environmentType=production&environmentId=ENV_ID_NUMBER&token=<YOUR_METADATA_TOKEN>Примечание: замените заполнители на ваши фактические значения.
-
Теперь вы должны увидеть плитку состояния данных, встроенную в вашу панель Sigma.
Основанное на заданиях состояние данных Legacy
По умолчанию в Catalog используется плитка состояния данных на основе окружения.
Этот раздел предназначен для устаревших плиток состояния данных, основанных на заданиях. Если вы используете обновленную плитку экспозиции, основанную на окружении, обратитесь к предыдущему разделу. Разверните следующее, чтобы узнать больше об устаревшей плитке состояния данных, основанной на заданиях.
















