Перейти к основному содержимому

Плитка состояния данных

Плитки состояния данных позволяют заинтересованным сторонам с первого взгляда определить, устарели ли просматриваемые данные или ухудшилось ли их качество. С их помощью команды могут сразу вернуться в Catalog, чтобы узнать подробности и разобраться в проблемах.

Плитка состояния данных:

  • Обобщает сигналы состояния данных для потребителей данных.
  • Содержит прямые ссылки на Catalog, где можно подробнее изучить проблемы с данными на предыдущих этапах обработки.
  • Предоставляет более подробную информацию и упрощает отладку.
  • Обновляет существующие плитки на основе заданий.

Тайлы здоровья данных опираются на exposures, чтобы отображать сигналы здоровья данных на ваших дашбордах. Exposure определяет, как конкретные выходные артефакты — такие как дашборды или отчёты — зависят от ваших моделей данных. В dbt exposures можно настраивать двумя способами:

  • Ручные — Определяются вручную и явно задаются в YAML-файлах вашего проекта.
  • Автоматические — Автоматически загружаются для поддерживаемых интеграций dbt. dbt автоматически создаёт и визуализирует нижестоящие экспозиции, избавляя от необходимости вручную определять их в YAML. Эти нижестоящие экспозиции хранятся в системе метаданных dbt, отображаются в Catalog и ведут себя как ручные экспозиции, но не существуют в YAML-файлах.
Пример плитки состояния данных на вашем дашборде, показывающей успешное прохождение проверок.Пример плитки состояния данных на вашем дашборде, показывающей успешное прохождение проверок.
Встраивайте плитки состояния данных в свои дашборды, чтобы наглядно представлять потребителям данных сводную информацию об их состоянии.Встраивайте плитки состояния данных в свои дашборды, чтобы наглядно представлять потребителям данных сводную информацию об их состоянии.

Предварительные условия​

  • У вас должна быть учетная запись dbt на тарифном плане Enterprise.
  • Для настройки сервисных токенов необходимо быть администратором учетной записи.
  • У вас должны быть права на разработку.
  • В вашем проекте должны быть определены exposures:
    • Если вы используете exposures, задаваемые вручную, они должны быть явно определены в ваших YAML-файлах.
    • Если вы используете автоматические downstream exposures, убедитесь, что ваш BI-инструмент настроен для интеграции с dbt.
  • В задании, которое создает этот exposure, должна быть включена проверка актуальности источников.
  • Для exposure, используемого в плитке состояния данных, свойство type должно иметь значение dashboard. В противном случае в Catalog не будет отображаться раскрывающийся список Встроить плитку состояния данных в ваш дашборд.

Просмотр exposure в dbt Catalog​

Сначала убедитесь, что включена свежесть источников в задании, которое генерирует эту экспозицию.

  1. Перейдите в Catalog, нажав ссылку Catalog в меню навигации.
  2. На главной странице Overview перейдите к левому меню навигации.
  3. Нажмите Exposures, чтобы просмотреть список экспозиций.
  4. Выберите экспозицию дашборда и перейдите на вкладку General, чтобы просмотреть информацию о состоянии данных.
  5. На этой вкладке вы увидите:
    • Название экспозиции в верхней части страницы.
    • Тип ресурса (например, Exposure) и отметку времени Updated at.
    • Раздел Data health, в котором указано время последней завершённой проверки — Last check completed (время, прошедшее с момента выполнения проверки).
    • Сводку о свежести данных (например, Data is fresh) и разбивку по вышестоящим источникам Sources (свежие, с задержкой, устаревшие, пропущенные, неактуальные, ненастроенные).
    • Сводку о качестве данных (например, Data quality passed) и разбивку по вышестоящим моделям Models и тестам Tests.
  6. Вы можете нажать кнопку Open in Dashboard в правом верхнем углу, чтобы сразу открыть дашборд в своём инструменте аналитики.
Просмотр экспозиции в dbt Catalog.Просмотр экспозиции в dbt Catalog.

Встраивание в вашу панель​

Перейдя к экспозиции в Catalog, вам нужно будет настроить плитку состояния данных и сервисный токен. Вы можете встроить плитку состояния данных в любой аналитический инструмент, поддерживающий встраивание URL или iFrame.

Следуйте этим шагам, чтобы настроить плитку состояния данных:

  1. Перейдите в Account settings в dbt.
  2. Выберите API tokens на левой боковой панели, а затем Service tokens.
  3. Нажмите Create service token и задайте имя токена.
  4. Выберите разрешение Metadata Only. Этот токен будет использоваться для встраивания плитки в ваш дашборд на последующих шагах.
Настройте плитку статуса дашборда и сервисный токен для встраивания плитки состояния данныхНастройте плитку статуса дашборда и сервисный токен для встраивания плитки состояния данных
  1. Скопируйте токен Metadata Only и сохраните его в безопасном месте. Он понадобится вам на следующих шагах.

  2. Вернитесь в Catalog и выберите экспозицию.

    подсказка

    У экспозиции, используемой для плитки состояния данных, свойство type должно иметь значение dashboard. В противном случае раскрывающийся блок Embed data health tile in your dashboard не будет отображаться в Catalog.

  3. Под разделом Data health раскройте блок с инструкциями по встраиванию плитки экспозиции (если вы администратор аккаунта с разрешениями на разработку).

  4. В раскрытом блоке вы увидите текстовое поле, в которое можно вставить ваш токен Metadata Only.

Раскройте блок, чтобы встроить плитку состояния данных в ваш дашборд.Раскройте блок, чтобы встроить плитку состояния данных в ваш дашборд.
  1. После того как вы вставили ваш токен, вы можете выбрать либо URL, либо iFrame в зависимости от того, что вам нужно добавить на вашу панель.

Если ваш аналитический инструмент поддерживает iFrames, вы можете встроить в него тайл дашборда.

Если ваш инструмент аналитики поддерживает iFrame, вы можете встроить в него плитку дашборда.

Примеры​

В следующих примерах показано, как встроить плитку состояния данных в Omni, PowerBI, Tableau и Sigma.

Чтобы встроить плитку состояния данных в Omni:

Встраивание плитки состояния данных в OmniВстраивание плитки состояния данных в Omni
  1. Создайте дашборд в Omni.

  2. Скопируйте код iFrame из раздела Data health в Catalog под переключателем Embed data health into your dashboard.

  3. Добавьте на дашборд текстовый или Markdown-элемент с кодом из предыдущего шага. Он должен выглядеть так:

     <iframe src='https://YOUR_ACCOUNT_PREFIX.metadata.REGION.dbt.com/exposure-tile?uniqueId=exposure.EXPOSURE_NAME&environmentType=production&environmentId=ENV_ID_NUMBER&token=<YOUR_METADATA_TOKEN>' title='Exposure Status Tile'></iframe>
  4. Сохраните плитку. На дашборде Omni появится плитка состояния данных, размещённая на dbt platform. Она автоматически обновляется в зависимости от состояния среды dbt.

Основанное на заданиях состояние данных Legacy​

По умолчанию в Catalog используется плитка состояния данных на основе окружения.

Этот раздел предназначен для устаревших плиток состояния данных, основанных на заданиях. Если вы используете обновленную плитку экспозиции, основанную на окружении, обратитесь к предыдущему разделу. Разверните следующее, чтобы узнать больше об устаревшей плитке состояния данных, основанной на заданиях.

 Job-based data health

В dbt Discovery API позволяет отображать на дашбордах индикаторы состояния на основе заданий. Индикатор состояния размещается на дашборде (точнее, в любом месте, где можно встроить iFrame) и позволяет оценить качество и актуальность данных, используемых в этом дашборде. Это реализуется с помощью экспозиций (exposures) в dbt.

Функциональность​

Плитка состояния панели выглядит следующим образом:

Проверка свежести данных не проходит, если какие-либо источники, поступающие в экспозицию, устарели. Проверка качества данных не проходит, если какие-либо тесты dbt не проходят. Состояние ошибки может выглядеть следующим образом:

Нажатие на see details из плитки состояния панели перенаправляет вас на страницу, где вы можете узнать больше о конкретных источниках, моделях и тестах, поступающих в эту экспозицию.

Настройка​

Сначала убедитесь, что включена свежесть источников в задании, которое генерирует эту экспозицию.

Для настройки плитки состояния панели вам потребуется:

  1. Токен Metadata Only. О том, как настроить токен Metadata-Only, можно узнать здесь.

  2. Название экспозиции. Вы можете узнать больше о том, как настроить экспозиции здесь.

  3. ID задания. Помните, что вы можете скопировать ID задания прямо из URL при просмотре соответствующего задания в dbt.

Вы можете вставить эти три поля в следующий iFrame и затем встроить его в любом месте, где вы можете встроить iFrame:

<iframe src='https://metadata.YOUR_ACCESS_URL/exposure-tile?name=<exposure_name>&jobId=<job_id>&token=<metadata_only_token>' title='Exposure Status Tile'></iframe>
Замените YOUR_ACCESS_URL на URL доступа для вашего региона и плана

dbt размещается в нескольких регионах мира, и у каждого региона свой URL-адрес доступа. Замените YOUR_ACCESS_URL на соответствующий URL-адрес доступа для вашего региона и тарифного плана. Например, если ваша учетная запись размещена в регионе EMEA, используйте следующий код iFrame:

<iframe src='https://metadata.emea.dbt.com/exposure-tile?name=<exposure_name>&jobId=<job_id>&token=<metadata_only_token>' title='Exposure Status Tile'></iframe>

Встраивание с BI инструментами​

Плитка состояния панели должна работать в любом месте, где вы можете встроить iFrame. Но ниже приведены некоторые тактические советы о том, как интегрироваться с распространенными BI инструментами.

Mode​

Mode позволяет вам напрямую редактировать HTML любого данного отчета, где вы можете встроить iFrame.

Обратите внимание, что Mode также разработал собственную интеграцию с dbt Discovery API!

Нашли ошибку?

0
Loading