Исследование данных с dbt Explorer

С помощью dbt Explorer вы можете просматривать ресурсы вашего проекта (такие как модели, тесты и метрики), их происхождение и потребление моделей, чтобы лучше понять его текущее состояние в производстве. Навигируйте и управляйте своими проектами в dbt Cloud, чтобы помочь вам и другим разработчикам данных, аналитикам и потребителям открывать и использовать ваши ресурсы dbt.

Обучение по запросу

Если вам нравятся видеокурсы, ознакомьтесь с нашим курсом dbt Explorer по запросу и узнайте, как лучше всего исследовать ваш(и) проект(ы) dbt!

Предварительные условия

• У вас есть учетная запись dbt Cloud на плане Team или Enterprise.
• Вы настроили производственную или стейджинговую среду развертывания для каждого проекта, который вы хотите исследовать.
• У вас есть как минимум один успешный запуск задания в среде развертывания. Обратите внимание, что CI задания не обновляют dbt Explorer.
• Вы находитесь на странице dbt Explorer. Для этого выберите Explore в навигации dbt Cloud.

Страница обзора preview

Перейдите на страницу обзора dbt Explorer, чтобы получить доступ к ресурсам и метаданным вашего проекта. Страница включает следующие разделы:

• Поисковая строка — Поиск ресурсов в вашем проекте по ключевому слову. Вы также можете использовать фильтры для уточнения результатов поиска.
• Боковая панель — Используйте левую боковую панель для доступа к производительности моделей, рекомендациям по проекту в разделе Детали проекта. Просматривайте ресурсы, файловую структуру и базу данных вашего проекта в нижней части боковой панели.
• Граф происхождения — Исследуйте граф происхождения вашего проекта или учетной записи, чтобы визуализировать отношения между ресурсами.
• Последние обновления — Просматривайте последние изменения или проблемы, связанные с ресурсами вашего проекта, включая последние запуски заданий, измененные свойства, происхождение и проблемы.
• Марты и публичные модели — Просматривайте марты и публичные модели в вашем проекте. Вы также можете перейти ко всем публичным моделям в вашей учетной записи через этот вид.
• История запросов моделей — Используйте историю запросов моделей для отслеживания запросов потребления на ваших моделях для более глубокого анализа.
• Авто-экспозиции — Настройте и просматривайте авто-экспозиции для автоматического раскрытия релевантных моделей данных из Tableau для повышения видимости.

Доступ к dbt Explorer из dbt Cloud, нажав Explore в навигации.

Генерация метаданных

dbt Explorer использует метаданные, предоставляемые Discovery API, чтобы отображать детали о состоянии вашего проекта. Доступные метаданные зависят от среды развертывания, которую вы обозначили как производственную или стейджинговую в вашем проекте dbt Cloud.

• dbt Explorer автоматически получает обновления метаданных после каждого запуска задания в производственной или стейджинговой среде развертывания, чтобы всегда иметь последние результаты для вашего проекта. Это включает задания на развертывание и слияние.
• Обратите внимание, что CI задания не обновляют dbt Explorer. Это связано с тем, что они не отражают производственное состояние и не предоставляют необходимые обновления метаданных.
• Чтобы просмотреть ресурс и его метаданные, вы должны определить ресурс в вашем проекте и запустить задание в производственной или стейджинговой среде.
• Полученные метаданные зависят от команд, выполняемых заданиями.

Для просмотра в Explorer	Вы должны успешно запустить
Происхождение модели, детали или результаты	dbt run или dbt build на данной модели в рамках задания в среде
Столбцы и статистика для моделей, источников и снимков	dbt docs generate в рамках задания в среде
Результаты тестов	dbt test или dbt build в рамках задания в среде
Результаты свежести источников	dbt source freshness в рамках задания в среде
Детали снимков	dbt snapshot или dbt build в рамках задания в среде
Детали семян	dbt seed или dbt build в рамках задания в среде

Более богатые и своевременные метаданные станут доступны по мере развития dbt Cloud.

Исследование графа происхождения вашего проекта

dbt Explorer предоставляет визуализацию DAG вашего проекта, с которой вы можете взаимодействовать. Чтобы получить доступ к полному графу происхождения проекта, выберите Обзор в левой боковой панели и нажмите кнопку Исследовать происхождение в основной (центральной) части страницы.

Если вы не видите граф происхождения проекта сразу, нажмите Отобразить происхождение. Отображение графа может занять некоторое время в зависимости от размера вашего проекта и доступной памяти вашего компьютера. Граф очень больших проектов может не отображаться, поэтому вы можете выбрать подмножество узлов, используя селекторы.

Узлы в графе происхождения представляют ресурсы проекта, а ребра представляют отношения между узлами. Узлы кодируются цветом и включают иконографию в зависимости от типа ресурса.

По умолчанию dbt Explorer показывает происхождение примененного состояния проекта. То есть, он показывает модели, которые были успешно построены и доступны для запросов, а не только модели, определенные в проекте.

Чтобы исследовать графы происхождения тестов и макросов, просмотрите страницы деталей их ресурсов. По умолчанию dbt Explorer исключает эти ресурсы из полного графа происхождения, если только поисковый запрос не возвращает их в качестве результатов.

 Как я могу взаимодействовать с полным графом происхождения?

• Наведите курсор на любой элемент в графе, чтобы отобразить имя и тип ресурса.

• Увеличивайте и уменьшайте масштаб графа, прокручивая мышь.

• Перемещайте граф и узлы.

• Щелкните правой кнопкой мыши на узле (контекстное меню), чтобы:

  • Сфокусироваться на узле, включая его вышестоящие и нижестоящие узлы
  • Сфокусироваться только на узле и его нижестоящих узлах
  • Сфокусироваться только на узле и его вышестоящих узлах
  • Просмотреть страницу деталей ресурса узла

• Выберите ресурс, чтобы выделить его связь с другими ресурсами в вашем проекте. На правой стороне графа откроется панель, отображающая краткое резюме деталей ресурса. Боковая панель включает вкладку Общие с информацией, такой как описание, тип материализации и другие детали. В верхнем правом углу боковой панели:

  • Нажмите на иконку Просмотреть ресурс, чтобы просмотреть детали ресурса.
  • Нажмите на иконку Открыть в IDE, чтобы изучить ресурс с помощью dbt Cloud IDE.
  • Нажмите на иконку Копировать ссылку на страницу, чтобы скопировать ссылку на страницу в буфер обмена.

• Используйте селекторы (в поисковой строке), чтобы выбрать конкретные ресурсы или подмножество DAG. Это может помочь сузить фокус на интересующие вас ресурсы. Все селекторы доступны для использования, за исключением тех, которые требуют сравнения состояния (результат, статус источника и состояние). Вы также можете использовать флаги --exclude и --select (который является необязательным). Примеры:

  • resource_type:model [RESOURCE_NAME] — Возвращает все модели, соответствующие поиску по имени
  • resource_type:metric,tag:nightly — Возвращает метрики с тегом nightly

• Используйте операторы графа (в поисковой строке), чтобы выбрать конкретные ресурсы или подмножество DAG. Это может помочь сузить фокус на интересующие вас ресурсы. Примеры:

  • +orders — Возвращает все вышестоящие узлы orders
  • +dim_customers,resource_type:source — Возвращает все источники, которые являются вышестоящими для dim_customers

• Используйте операторы множеств (в поисковой строке), чтобы выбрать конкретные ресурсы или подмножество DAG. Это может помочь сузить фокус на интересующие вас ресурсы. Например:

  • +snowplow_sessions +fct_orders — Используйте аргументы, разделенные пробелами, для операции объединения. Возвращает ресурсы, которые являются вышестоящими узлами для snowplow_sessions или fct_orders.

• Просмотрите детали ресурса, выбрав узел (двойным щелчком) в графе.

• Нажмите Линзы (в нижнем правом углу графа), чтобы использовать функцию линз Explorer.

Пример полного графа происхождения

Пример исследования модели в графе происхождения проекта:

Пример полного графа происхождения

Линзы

Функция Линзы доступна из графа происхождения проекта (нижний правый угол). Линзы похожи на слои карты для вашего DAG. Линзы упрощают понимание контекстных метаданных вашего проекта в масштабе, особенно для различения конкретной модели или подмножества моделей.

Когда вы применяете линзу, теги становятся видимыми на узлах в графе происхождения, указывая значение слоя вместе с окраской на основе этого значения. Если вы значительно уменьшили масштаб, в графе видны только теги и их цвета.

Линзы полезны для анализа подмножества DAG, если вы увеличили масштаб, или для поиска моделей/проблем с более высокой точки зрения.

 Список доступных линз

Ресурс в вашем проекте характеризуется типом ресурса, типом материализации или слоем модели, а также его последним запуском или последним статусом теста. Линзы доступны для следующих метаданных:

• Отношение: Организует ресурсы по типу ресурса, таким как модели, тесты, семена и другие. Тип ресурса использует селектор resource_type.
• Тип материализации: Определяет стратегию построения моделей dbt в вашей платформе данных.
• Последний статус: Статус последнего выполнения ресурса в текущей среде. Например, диагностика неудачного региона DAG.
• Слой модели: Слой моделирования, к которому принадлежит модель, согласно руководству по лучшим практикам. Например, обнаружение моделей мартов для анализа.
  • Марты — Модель с префиксом fct_ или dim_ или модель, которая находится в подкаталоге /marts/.
  • Промежуточный — Модель с префиксом int_. Или модель, которая находится в подкаталоге /int/ или /intermediate/.
  • Стадия — Модель с префиксом stg_. Или модель, которая находится в подкаталоге /staging/.
• Статус теста: Статус последнего выполнения тестов, которые снова запускались для этого ресурса. В случае, если у модели несколько тестов с разными результатами, линза отражает статус "худшего случая".
• Запросы использования: Количество запросов к этому ресурсу за определенный период времени.

Пример линз

Пример применения линзы Тип материализации с уменьшенным масштабом графа происхождения. В этом представлении каждое имя модели имеет цвет в соответствии с легендой типа материализации внизу, которая указывает тип материализации. Эта цветовая кодировка помогает быстро определить типы материализации различных моделей.

Пример линзы типа материализации

Пример применения линзы Статус тестов, где каждое имя модели отображает статус тестов в соответствии с легендой внизу, которая указывает статус теста.

Пример линзы статуса тестов

Поиск по ключевым словам

Вы можете найти ресурсы в вашем проекте, выполнив поиск по ключевым словам в поисковой строке. Все имена ресурсов, имена столбцов, описания ресурсов, отношения в хранилище и код, соответствующие вашим критериям поиска, будут отображаться в виде списка в основной (центральной) части страницы. При поиске точного имени столбца результаты показывают все реляционные узлы, содержащие этот столбец в своих схемах. Если есть совпадение, уведомление в результате поиска указывает, что ресурс содержит указанный столбец. Также вы можете применить фильтры для дальнейшего уточнения результатов поиска.

 Функции поиска

• Частичный поиск по ключевым словам — Это также называется нечетким поиском.
• Исключение ключевых слов — Добавьте минус (-) перед ключевым словом, которое вы хотите исключить из результатов поиска. Например, -user исключит все совпадения этого ключевого слова из результатов поиска.
• Булевы операторы — Используйте булевы операторы для улучшения поиска по ключевым словам. Например, результаты поиска для users OR github будут включать совпадения для любого из ключевых слов.
• Поиск по фразе — Оберните строку ключевых слов в двойные кавычки, чтобы искать эту точную фразу (например, "stg users"). Чтобы узнать больше, обратитесь к Поиск по фразе на Википедии.
• Поиск по ключевым словам SQL — Используйте ключевые слова SQL в вашем поиске. Например, результаты поиска int github users joined будут включать совпадения, содержащие эту конкретную строку ключевых слов (похоже на поиск по фразе).

 Боковая панель фильтров

Боковая панель Фильтры становится доступной после выполнения поиска по ключевым словам. Используйте эту панель для дальнейшего уточнения результатов вашего поиска по ключевым словам. По умолчанию Explorer ищет по всем ресурсам в проекте. Вы можете фильтровать по:

• Тип ресурса (например, модели, источники и так далее)
• Доступ к модели (например, публичный, приватный)
• Слой модели (например, марты, стадия)
• Материализация модели (например, представление, таблица)
• Теги (поддерживает множественный выбор)

В разделе Модели вы можете фильтровать по свойствам модели (доступ или тип материализации). Также доступны Расширенные опции, где вы можете ограничить результаты поиска именем столбца, кодом модели и другими параметрами.

 Сигналы доверия для ресурсовpreview

Иконки сигналов доверия предлагают быстрый, наглядный обзор состояния данных при просмотре ваших ресурсов в dbt Explorer. Эти иконки информируют вас о состоянии здоровья вашего ресурса, используя индикаторы Здоровый, Осторожность, Ухудшенный и Неизвестный. Для получения точных данных о состоянии здоровья убедитесь, что ресурс актуален и недавно запускался. Поддерживаемые ресурсы включают модели, источники и экспозиции.

Каждая иконка сигнала доверия отражает ключевые компоненты здоровья данных, такие как статус успешности теста, отсутствие описаний ресурсов, отсутствие сборок в 30-дневных окнах и многое другое.

Чтобы получить доступ к сигналам доверия:

• Используйте функцию поиска или нажмите на Модели, Источники или Экспозиции в разделе Ресурс.
• Просмотрите иконки в столбце Здоровье.
• Наведите курсор или нажмите на сигнал доверия, чтобы увидеть подробную информацию.
• Для источников сигнал доверия также указывает статус свежести источника.

Просмотр сигналов доверия для ваших моделей.

Пример поиска по ключевым словам

Пример результатов поиска по ключевому слову customers с применением фильтров модели, описания и кода. Сигналы доверия видны справа от имени модели в результатах поиска.

Пример поиска по ключевым словам

Просмотр с помощью боковой панели

С помощью боковой панели вы можете просматривать ресурсы вашего проекта, его файловую структуру и базу данных.

• Вкладка Ресурсы — Все ресурсы в проекте, организованные по типу. Выберите любой тип ресурса в списке, и все эти ресурсы в проекте отобразятся в виде таблицы в основной части страницы. Для описания различных типов ресурсов (таких как модели, метрики и так далее) обратитесь к О dbt проектах.
• Вкладка Файловая структура — Все ресурсы в проекте, организованные по файлу, в котором они определены. Это отражает файловую структуру в вашем репозитории проекта dbt.
• Вкладка База данных — Все ресурсы в проекте, организованные по базе данных и схеме, в которой они построены. Это отражает структуру вашей платформы данных, представляющую примененное состояние вашего проекта.

Пример вкладок в боковой панели

Открытие в IDE

Если вам назначена лицензия разработчика, вы можете открыть ресурс в IDE прямо из Explorer. Например, IDE открывает все соответствующие файлы для модели. Это включает SQL или Python определение модели и любые YAML файлы, которые содержат запись для этой модели. Функция доступна из полного графа происхождения и просмотра деталей ресурса.

Вот пример иконки Открыть в IDE в верхнем правом углу страницы деталей ресурса. Иконка неактивна (серого цвета), если вам не назначена лицензия разработчика.

Пример иконки для Открыть в IDE

Просмотр версий моделей

Если модели в проекте версионированы, вы можете увидеть, какая версия модели применяется — prerelease, latest и old — в заголовке страницы деталей модели и в списке моделей из боковой панели.

Просмотр деталей ресурса

Вы можете просмотреть определение и последние результаты выполнения любого ресурса в вашем проекте. Чтобы найти ресурс и просмотреть его детали, вы можете взаимодействовать с графом происхождения, использовать поиск или просматривать каталог.

Доступные вам детали (метаданные) зависят от типа ресурса, его определения и команд, которые выполняются в рамках заданий в производственной среде.

В верхнем правом углу страницы деталей ресурса вы можете:

• Нажать на иконку Открыть в IDE, чтобы изучить ресурс с помощью dbt Cloud IDE.
• Нажать на иконку Поделиться, чтобы скопировать ссылку на страницу в буфер обмена.

 Какие детали доступны для модели?

• Иконка сигнала доверия — Иконки, предлагающие быстрый, наглядный обзор состояния данных. Эти иконки указывают, является ли модель Здоровой, Осторожной, Ухудшенной или Неизвестной. Наведите курсор на иконку, чтобы просмотреть подробную информацию о состоянии здоровья модели.
• Строка состояния (ниже заголовка страницы) — Информация о последнем времени выполнения модели, успешности выполнения, способе материализации данных, количестве строк и размере модели.
• Вкладка Общие включает:
  • Граф происхождения — Граф происхождения модели, с которым вы можете взаимодействовать. Граф включает один вышестоящий узел и один нижестоящий узел от модели. Нажмите на иконку Развернуть в верхнем правом углу графа, чтобы просмотреть модель в режиме полного графа происхождения.
  • Раздел Описание — Описание модели.
  • Раздел Недавние — Информация о последнем времени выполнения модели, продолжительности выполнения, успешности выполнения, ID задания и ID выполнения.
  • Раздел Тесты — Тесты для модели, включая индикатор статуса для последнего статуса теста. ✅ обозначает успешный тест.
  • Раздел Детали — Ключевые свойства, такие как имя отношения модели (например, как оно представлено и как вы можете его запросить в платформе данных: database.schema.identifier); атрибуты управления моделью, такие как доступ, группа и если контрактирован; и многое другое.
  • Раздел Отношения — Узлы, от которых модель Зависит, на которые она Ссылается, и (если применимо) которые Используются для проектов, которые объявили модели проекта как зависимость.
• Вкладка Код — Исходный код и скомпилированный код для модели.
• Вкладка Столбцы — Доступные столбцы в модели. Эта вкладка также показывает результаты тестов (если есть), которые вы можете выбрать, чтобы просмотреть страницу деталей теста. ✅ обозначает успешный тест. Чтобы отфильтровать столбцы в ресурсе, вы можете использовать поисковую строку, расположенную в верхней части просмотра столбцов.

 Какие детали доступны для экспозиции?

• Строка состояния (ниже заголовка страницы) — Информация о последнем времени обновления экспозиции.
• Вкладка Общие включает:
  • Здоровье данных — Статус свежести данных и качества данных.
  • Раздел Статус — Статус свежести данных и качества данных.
  • Граф происхождения — Граф происхождения экспозиции. Нажмите на иконку Развернуть в верхнем правом углу графа, чтобы просмотреть экспозицию в режиме полного графа происхождения. Интегрируется нативно с Tableau и автоматически генерирует нижестоящее происхождение.
  • Раздел Описание — Описание экспозиции.
  • Раздел Детали — Детали, такие как тип экспозиции, зрелость, информация о владельце и многое другое.
  • Раздел Отношения — Узлы, от которых экспозиция Зависит.

 Какие детали доступны для теста?

• Строка состояния (ниже заголовка страницы) — Информация о последнем времени выполнения теста, успешности теста, имени теста, цели теста и имени столбца. По умолчанию все, если не указано.
• Тип теста (рядом со строкой состояния) — Информация о различных доступных типах тестов: Юнит-тест или Тест данных. По умолчанию все, если не указано.

Когда вы выбираете тест, доступны следующие детали:

• Вкладка Общие включает:
  • Граф происхождения — Граф происхождения теста, с которым вы можете взаимодействовать. Граф включает один вышестоящий узел и один нижестоящий узел от ресурса теста. Нажмите на иконку Развернуть в верхнем правом углу графа, чтобы просмотреть тест в режиме полного графа происхождения.
  • Раздел Описание — Описание теста.
  • Раздел Недавние — Информация о последнем времени выполнения теста, продолжительности выполнения, успешности теста, ID задания и ID выполнения.
  • Раздел Детали — Детали, такие как схема, серьезность, пакет и многое другое.
  • Раздел Отношения — Узлы, от которых тест Зависит.
• Вкладка Код — Исходный код и скомпилированный код для теста.

Пример просмотра тестов:

Пример деталей типа теста

 Какие детали доступны для каждой таблицы источников в коллекции источников?

• Строка состояния (ниже заголовка страницы) — Информация о последнем времени обновления источника и количестве таблиц, которые использует источник.
• Вкладка Общие включает:
  • Граф происхождения — Граф происхождения источника, с которым вы можете взаимодействовать. Граф включает один вышестоящий узел и один нижестоящий узел от источника. Нажмите на иконку Развернуть в верхнем правом углу графа, чтобы просмотреть источник в режиме полного графа происхождения.
  • Раздел Описание — Описание источника.
  • Раздел Свежесть источника — Информация о том, было ли обновление данных успешным, последнее время загрузки источника, временная метка, когда выполнение сгенерировало данные, и ID выполнения.
  • Раздел Детали — Детали, такие как база данных, схема и многое другое.
  • Раздел Отношения — Таблица, перечисляющая все используемые источники с их статусом свежести, временной меткой последней проверки свежести и временной меткой последней загрузки источника.
• Вкладка Столбцы — Доступные столбцы в источнике. Эта вкладка также показывает результаты тестов (если есть), которые вы можете выбрать, чтобы просмотреть страницу деталей теста. ✅ обозначает успешный тест.

Пример деталей модели

Пример просмотра деталей для модели customers:

Пример деталей ресурса

Пример деталей авто-экспозиции для экспозиции Tableau.

Стейджинговая среда

dbt Explorer поддерживает представления для стейджинговых сред развертывания, в дополнение к производственной среде. Это дает вам уникальный взгляд на ваши пред-производственные рабочие процессы данных с теми же инструментами, доступными в производстве, обеспечивая дополнительный уровень проверки.

Вы можете исследовать метаданные из вашей производственной или стейджинговой среды, чтобы информировать ваш жизненный цикл разработки данных. Просто установите одну среду на проект dbt Cloud как "производственную" или "стейджинговую" и убедитесь, что были сгенерированы соответствующие метаданные, тогда вы сможете просмотреть их в Explorer. Обратитесь к Генерация метаданных для получения более подробной информации.

Исследование в стейджинговой среде

Связанные материалы

• Разрешения Enterprise
• О управлении моделями
• Блог о Что такое data mesh?