Перейти к основному содержимому

Тайл состояния данных EnterpriseEnterprise +

С помощью тайлов состояния данных заинтересованные стороны могут с первого взгляда понять, являются ли данные, на которые они смотрят, устаревшими или деградировавшими. Это позволяет командам сразу вернуться в Catalog, чтобы получить больше подробностей и заняться расследованием проблем.

Плитка состояния данных:

  • Обобщает сигналы здоровья данных для потребителей данных.
  • Позволяет перейти по глубокой ссылке в Catalog, где можно подробнее изучить проблемы с вышележащими (upstream) данными.
  • Предоставляет более подробную информацию и упрощает отладку.
  • Обновляет существующие тайлы на основе заданий (job-based).

Тайлы здоровья данных опираются на exposures, чтобы отображать сигналы здоровья данных на ваших дашбордах. Exposure определяет, как конкретные выходные артефакты — такие как дашборды или отчёты — зависят от ваших моделей данных. В dbt exposures можно настраивать двумя способами:

  • Manual — Определяются вручную и явно задаются в YAML-файлах вашего проекта.
  • Automatic — Автоматически подтягиваются для поддерживаемых интеграций dbt. dbt автоматически создаёт и визуализирует downstream exposures, устраняя необходимость в ручных YAML-определениях. Эти downstream exposures хранятся в системе метаданных dbt, отображаются в Catalog и ведут себя так же, как и ручные exposures, однако они не существуют в YAML-файлах.
Пример успешной плитки состояния данных на вашей панели.Пример успешной плитки состояния данных на вашей панели.
Встраивайте плитки состояния данных в свои панели, чтобы передавать сигналы доверия потребителям данных.Встраивайте плитки состояния данных в свои панели, чтобы передавать сигналы доверия потребителям данных.

Предварительные условия​

  • У вас должна быть учетная запись dbt на тарифе уровня Enterprise.
  • Вы должны быть администратором учетной записи, чтобы настроить service tokens.
  • У вас должны быть права develop.
  • В вашем проекте должны быть определены exposures:
    • Если вы используете ручные exposures, они должны быть явно определены в ваших YAML-файлах.
    • Если вы используете автоматические downstream exposures, убедитесь, что ваш BI-инструмент настроен для работы с dbt.
  • В задании (job), которое генерирует этот exposure, должна быть включена source freshness.
  • Exposure, используемый для плитки data health, должен иметь type property, установленное в значение dashboard. В противном случае вы не сможете увидеть выпадающий список Embed data health tile in your dashboard в Catalog.

Просмотр exposure в dbt Catalog​

Сначала убедитесь, что включена свежесть источников в задании, которое генерирует эту экспозицию.

  1. Перейдите в Catalog, нажав на ссылку Explore в навигации.
  2. На основной странице Overview перейдите к левой панели навигации.
  3. На вкладке Resources нажмите Exposures, чтобы просмотреть список exposures.
  4. Выберите exposure для дашборда и перейдите на вкладку General, чтобы посмотреть информацию о состоянии данных.
  5. На этой вкладке вы увидите:
    • Имя exposure.
    • Статус data health: Актуальность данных пройдена, Качество данных пройдено, Данные могут быть устаревшими, Качество данных ухудшено.
    • Тип ресурса (model, source и так далее).
    • Статус дашборда: Сбой, Пройдено, Устаревший.
    • Также отображаются время последней выполненной проверки, время последней проверки и её длительность.
  6. Вы можете нажать кнопку Open Dashboard в правом верхнем углу, чтобы сразу открыть дашборд в вашем аналитическом инструменте.
Просмотреть exposure в dbt Catalog.Просмотреть exposure в dbt Catalog.

Встраивание в вашу панель​

После того как вы перейдёте к exposure в Catalog, вам нужно будет настроить data health tile и service token. Вы можете встроить data health tile в любой аналитический инструмент, который поддерживает встраивание через URL или iFrame.

Следуйте этим шагам, чтобы настроить плитку состояния данных:

  1. Перейдите в Account settings в dbt.
  2. В левой боковой панели выберите API tokens, затем — Service tokens.
  3. Нажмите Create service token и задайте для него имя.
  4. Выберите разрешение Metadata Only. Этот токен будет использоваться для встраивания плитки в ваш дашборд на следующих шагах.
Настройте плитку статуса дашборда и сервисный токен, чтобы встроить плитку data healthНастройте плитку статуса дашборда и сервисный токен, чтобы встроить плитку data health

  1. Скопируйте токен Metadata Only и сохраните его в безопасном месте. Он понадобится вам на следующих шагах.

  2. Вернитесь в Catalog и выберите exposure.

    подсказка

    Exposure, используемый для плитки состояния данных, должен иметь type property, установленное в значение dashboard. В противном случае вы не увидите выпадающий список Embed data health tile in your dashboard в Catalog.

  3. Ниже раздела Data health разверните переключатель с инструкциями о том, как встроить плитку exposure (если вы являетесь администратором аккаунта с правами develop).

  4. В развернутом блоке вы увидите текстовое поле, куда можно вставить ваш Metadata Only token.

Разверните переключатель, чтобы встроить плитку data health в ваш дашборд.Разверните переключатель, чтобы встроить плитку data health в ваш дашборд.
  1. После того как вы вставили ваш токен, вы можете выбрать либо URL, либо iFrame в зависимости от того, что вам нужно добавить на вашу панель.

Если ваш аналитический инструмент поддерживает iFrames, вы можете встроить в него тайл дашборда.

Examples​

Следующие примеры показывают, как встроить тайл состояния данных (data health tile) в PowerBI, Tableau и Sigma.

Вы можете встроить iFrame плитки состояния данных в PowerBI, используя PowerBI Pro Online, Fabric PowerBI или PowerBI Desktop.

Встраивание iFrame плитки состояния данных в PowerBIВстраивание iFrame плитки состояния данных в PowerBI

Следуйте этим шагам, чтобы встроить плитку состояния данных в PowerBI:

  1. Создайте панель в PowerBI и подключитесь к вашей базе данных, чтобы загрузить данные.
  2. Создайте новую меру PowerBI, щелкнув правой кнопкой мыши на Data, More options, затем New measure.
Создание новой меры PowerBI.Создание новой меры PowerBI.

  1. Перейдите в Catalog, выберите exposure и разверните переключатель Embed data health into your dashboard.

  2. Перейдите на вкладку iFrame и скопируйте iFrame‑код. Убедитесь, что токен Metadata Only уже настроен.

  3. В PowerBI вставьте скопированный iFrame‑код в окно расчёта measure. iFrame‑код должен выглядеть следующим образом:

    <iframe src='https://1234.metadata.ACCESS_URL/exposure-tile?uniqueId=exposure.EXPOSURE_NAME&environmentType=staging&environmentId=123456789&token=YOUR_METADATA_TOKEN' title='Exposure status tile' height='400'></iframe>
    На вкладке 'Measure tools' замените ваши значения на код iFrame.На вкладке 'Measure tools' замените ваши значения на код iFrame.

  4. PowerBI Desktop не поддерживает рендеринг HTML по умолчанию, поэтому вам нужно установить компонент HTML из PowerBI Visuals Store.

  5. Для этого перейдите в Build visuals, затем Get more visuals.

  6. Войдите в систему с вашей учетной записью PowerBI.

  7. Существует несколько сторонних HTML визуализаций. Тот, который был протестирован для этого руководства, это HTML content. Установите его, но имейте в виду, что это сторонний плагин, не созданный и не поддерживаемый dbt Labs.

  8. Перетащите метрику с кодом iFrame в виджет HTML content в PowerBI. Теперь это должно отображать вашу плитку состояния данных.

Перетащите метрику с кодом iFrame в виджет HTML content в PowerBI. Теперь это должно отображать вашу плитку состояния данных.Перетащите метрику с кодом iFrame в виджет HTML content в PowerBI. Теперь это должно отображать вашу плитку состояния данных.

Обратитесь к этому руководству для получения дополнительной информации о встраивании веб-сайта в ваш отчет Power BI.

Основанное на заданиях состояние данных Legacy​

По умолчанию используется плитка состояния данных на основе окружений в Catalog.

Этот раздел предназначен для устаревших плиток состояния данных, основанных на заданиях. Если вы используете обновленную плитку экспозиции, основанную на окружении, обратитесь к предыдущему разделу. Разверните следующее, чтобы узнать больше об устаревшей плитке состояния данных, основанной на заданиях.

 Job-based data health

В dbt Discovery API может использоваться для формирования статусных плиток дашбордов, которые привязаны к джобам. Статусная плитка дашборда размещается на дашборде (а именно — в любом месте, где можно встроить iFrame) и позволяет получить представление о качестве и актуальности данных, которые используются в этом дашборде. Это реализуется с помощью dbt exposures.

Функциональность​

Плитка состояния панели выглядит следующим образом:

Проверка свежести данных не проходит, если какие-либо источники, поступающие в экспозицию, устарели. Проверка качества данных не проходит, если какие-либо тесты dbt не проходят. Состояние ошибки может выглядеть следующим образом:

Нажатие на see details из плитки состояния панели перенаправляет вас на страницу, где вы можете узнать больше о конкретных источниках, моделях и тестах, поступающих в эту экспозицию.

Настройка​

Сначала убедитесь, что включена свежесть источников в задании, которое генерирует эту экспозицию.

Для настройки плитки состояния панели вам потребуется:

  1. Токен только для метаданных. Вы можете узнать, как настроить токен только для метаданных здесь.

  2. Название экспозиции. Вы можете узнать больше о том, как настроить экспозиции здесь.

  3. Job iD. Помните, что вы можете взять идентификатор job (job ID) напрямую из URL, когда просматриваете соответствующую job в dbt.

Вы можете вставить эти три поля в следующий iFrame и затем встроить его в любом месте, где вы можете встроить iFrame:

<iframe src='https://metadata.YOUR_ACCESS_URL/exposure-tile?name=<exposure_name>&jobId=<job_id>&token=<metadata_only_token>' title='Exposure Status Tile'></iframe>
Замените YOUR_ACCESS_URL на URL доступа для вашего региона и плана

dbt размещён в нескольких регионах по всему миру, и у каждого региона есть свой собственный URL для доступа. Замените YOUR_ACCESS_URL на соответствующий Access URL для вашего региона и тарифного плана. Например, если ваш аккаунт размещён в регионе EMEA, вам следует использовать следующий код iFrame:

<iframe src='https://metadata.emea.dbt.com/exposure-tile?name=<exposure_name>&jobId=<job_id>&token=<metadata_only_token>' title='Exposure Status Tile'></iframe>

Встраивание с BI инструментами​

Плитка состояния панели должна работать в любом месте, где вы можете встроить iFrame. Но ниже приведены некоторые тактические советы о том, как интегрироваться с распространенными BI инструментами.

Mode​

Mode позволяет вам напрямую редактировать HTML любого данного отчета, где вы можете встроить iFrame.

Обратите внимание, что Mode также создала собственную интеграцию с Discovery API dbt!

Нашли ошибку?

0
Loading