Поиск данных в Catalog
С помощью Catalog вы можете просматривать ресурсы своего проекта (например, модели, тесты и метрики), их происхождение и связи, а также использование моделей, чтобы лучше понимать актуальное состояние проекта в продакшене.
Используйте Catalog для навигации по проектам и управления ими в dbt, чтобы вам и другим разработчикам данных, аналитикам и потребителям данных было проще находить и использовать ресурсы dbt. Catalog интегрируется с Studio IDE, dbt Insights, Orchestrator и Canvas, помогая вам разрабатывать или просматривать ресурсы dbt.
Предварительные требования
- У вас есть учетная запись dbt на тарифе Starter, Enterprise или Enterprise+.
- Вы настроили среду развертывания production или staging для каждого проекта, который хотите исследовать.
- В среде развертывания есть хотя бы один успешный запуск задания. Обратите внимание, что задания CI не обновляют Catalog.
- Вы находитесь на странице Catalog. Чтобы перейти на нее, выберите Catalog в меню верхнего уровня в dbt.
Генерация метаданных
Catalog использует метаданные, предоставляемые Discovery API, для отображения подробной информации о состоянии вашего проекта dbt. Доступные метаданные зависят от среды развертывания, которую вы обозначили как production или staging в своем проекте dbt.
Метаданные dbt
Если вы используете гибридную конфигурацию проекта и загружаете артефакты из dbt v1, обязательно следуйте инструкциям по настройке, чтобы подключить свой проект в dbt. Это позволит Catalog корректно получать и отображать ваши метаданные.
-
(Версии dbt: v2.0 и новее) Чтобы все метаданные были доступны в Catalog, выполняйте
dbt buildв рамках задания в среде production или staging. Задания, использующие v2, автоматически обновляют метаданные каталога при каждом запуске, поэтому шагdbt docs generateне требуется. - Catalog автоматически получает обновления метаданных после каждого запуска задания в среде развертывания production или staging, поэтому в нем всегда доступны актуальные результаты для вашего проекта. Это относится и к заданиям развертывания и слияния.
- Обратите внимание, что задания CI не обновляют Catalog. Это связано с тем, что они не отражают состояние production и не предоставляют необходимые обновления метаданных.
- Чтобы просмотреть ресурс и его метаданные, необходимо определить ресурс в проекте и запустить задание в среде production или staging.
- Итоговые метаданные зависят от команд, выполняемых заданиями.
Когда dbt создает метаданные модели
dbt заполняет метаданные модели в Catalog, когда выполняются оба следующих условия:
- Модель определена в вашем проекте dbt (присутствует в манифесте).
- Модель присутствует в
run_resultsкомандыdbt build,dbt runилиdbt clone, независимо от того, завершилось выполнение успешно или с ошибкой.
Когда dbt удаляет метаданные модели
dbt удаляет метаданные модели из Catalog в двух случаях:
- Модель удалена из проекта: если модель удалена из вашего проекта dbt (и, следовательно, больше не присутствует в манифесте), ее метаданные удаляются после последующего запуска задания, в которое эта модель больше не включена.
- Отсутствие активности в среде: если в среде не было запусков заданий за последние 3 месяца, все метаданные этой среды удаляются. Чтобы этого избежать, настройте запуск заданий по расписанию не реже одного раза в 3 месяца.
| Чтобы просмотреть в Catalog | Необходимо успешно выполнить |
|---|---|
| Все метаданные | dbt build и dbt source freshness вместе в рамках одного задания в этой среде |
| Зависимости модели, сведения о ней или результаты выполнения | dbt run или dbt build для конкретной модели в рамках задания в этой среде |
| Столбцы и статистику для моделей, источников и снимков | Любое задание в этой среде. Задания, использующие v2, автоматически обновляют метаданные каталога. |
| Результаты тестов данных | dbt test или dbt build в рамках задания в этой среде |
| Результаты модульных тестов | dbt test или dbt build в рамках задания в этой среде. Модульные тесты обычно выполняются в средах разработки или CI, поэтому их результаты редко появляются в Catalog для среды production. |
| Результаты проверки актуальности источников | dbt source freshness в рамках задания в этой среде |
| Сведения о снимках | dbt snapshot или dbt build в рамках задания в этой среде |
| Сведения о seed | dbt seed или dbt build в рамках задания в этой среде |
Если ваша организация работает как с dbt v1, так и с Cloud, вы можете объединить эти рабочие процессы, автоматически загружая артефакты dbt v1 в dbt Cloud и просматривая их в Catalog, чтобы работать с dbt в единой среде. Подробнее см. в разделе Гибридные проекты.
Обзор Catalog
Catalog позволяет расширить поиск, включив в него ресурсы dbt (модели, seeds, snapshots, источники, exposures и другие) из всего вашего аккаунта. Это расширяет результаты поиска и позволяет получить более полное представление обо всех ресурсах ваших проектов dbt. Подробнее см. в разделе Глобальная навигация или в нашем видеообзоре.
Используйте обзорную страницу Catalog для доступа к ресурсам и метаданным вашего проекта. Страница содержит следующие разделы:
- Строка поиска — Ищите ресурсы в проекте по ключевому слову. Вы также можете использовать фильтры для уточнения результатов поиска.
- Боковая панель — Используйте нижнюю часть левой боковой панели для просмотра ресурсов, дерева файлов и базы данных вашего проекта. В зависимости от вашего тарифного плана вы также можете просматривать производительность моделей и рекомендации по проекту. Подробнее см. в разделе Доступность по тарифным планам.
- Рекомендации по проекту находятся на главной странице вашего проекта.*
- Граф зависимостей — Изучайте граф зависимостей вашего проекта или аккаунта, чтобы визуализировать связи между ресурсами.
- Последние обновления — Просматривайте последние изменения или проблемы, связанные с ресурсами вашего проекта, включая последние запуски заданий, изменённые свойства, зависимости и проблемы.
- Витрины данных и публичные модели — Просматривайте витрины данных и публичные модели вашего проекта. Из этого представления вы также можете перейти ко всем публичным моделям вашего аккаунта.
- История запросов к моделям — Используйте историю запросов к моделям, чтобы отслеживать запросы, использующие данные ваших моделей, и получать более глубокое представление об их использовании.
- Визуализация зависимых exposures — Настройте и визуализируйте зависимые exposures, чтобы автоматически отображать соответствующие модели данных из Tableau и улучшать их обозримость.
- Индикаторы состояния данных — Просматривайте индикаторы состояния данных для каждого ресурса, чтобы оценивать его состояние и производительность.
Права доступа к каталогу
При использовании глобальной навигации и поиске по всем проектам действуют следующие правила доступа:
- Ваши права доступа к проектам определяют, какие проекты dbt отображаются в левом меню глобальной навигации.
- При поиске в Catalog используются мягкие ограничения доступа: в результатах поиска вы увидите все соответствующие запросу ресурсы с явными индикаторами для тех, к которым у вас нет доступа.
Доступность по тарифным планам
Catalog доступен во всех тарифных планах Starter, Enterprise и Enterprise+. Однако некоторые функции доступны только в тарифных планах Enterprise и Enterprise+:
| Функция | Starter | Enterprise | Enterprise+ |
|---|---|---|---|
| Просмотр графа зависимостей и ресурсов dbt | ✅ | ✅ | ✅ |
| Глобальная навигация | ✅ | ✅ | ✅ |
| Сигналы о состоянии данных | ✅ | ✅ | ✅ |
| Производительность моделей | ❌ | ✅ | ✅ |
| Рекомендации по проекту | ❌ | ✅ | ✅ |
| Граф зависимостей на уровне столбцов | ❌ | ✅ | ✅ |
| Граф зависимостей нескольких проектов | ❌ | ✅ | ✅ |
| История запросов к моделям | ❌ | ✅ | ✅ |
| Зависимые exposures | ❌ | ✅ | ✅ |
| Плитка состояния данных | ❌ | ✅ | ✅ |
Эта таблица относится только к Catalog. Подробнее о том, как использовать граф зависимостей на уровне столбцов локально, см. в разделе Граф зависимостей на уровне столбцов.
Если вам нравятся видеокурсы, ознакомьтесь с нашим курсом по dbt Catalog, доступным по запросу, и узнайте, как наиболее эффективно исследовать свои проекты dbt!
Изучение графа lineage проекта
Catalog предоставляет интерактивную визуализацию DAG вашего проекта. Чтобы открыть полный граф происхождения данных проекта, выберите Overview на левой боковой панели и нажмите кнопку Explore Lineage в основной (центральной) части страницы.
Если граф lineage проекта не отображается сразу, нажмите Render Lineage. В зависимости от размера проекта и объёма доступной оперативной памяти на вашем компьютере отрисовка графа может занять некоторое время. Для очень крупных проектов граф может не отрисоваться полностью — в этом случае можно выбрать подмножество узлов с помощью селекторов.
Узлы в графе lineage представляют ресурсы проекта, а рёбра — связи между этими узлами. Узлы имеют цветовую кодировку и иконки в соответствии с типом ресурса.
По умолчанию Catalog показывает граф зависимостей проекта в его применённом состоянии. То есть он показывает модели, которые были успешно построены и доступны для запросов, а не просто модели, определённые в проекте.
Чтобы изучить графы зависимостей тестов и макросов, откройте страницы с подробной информацией об этих ресурсах. По умолчанию Catalog исключает эти ресурсы из полного графа зависимостей, если только они не попадают в результаты поискового запроса.
Пример полного графа происхождения
Чтобы изучить модель на графе происхождения данных вашего проекта в Catalog:
- Выберите свой проект на левой боковой панели.
- Нажмите кнопку View lineage.
- Нажмите на модель, чтобы просмотреть её описание.
Линзы
Функция Lenses доступна в графе линейности вашего проекта (правый нижний угол). Lenses можно сравнить со слоями на карте для вашего DAG. Они упрощают понимание контекстных метаданных проекта в большом масштабе, особенно когда нужно выделить конкретную модель или подмножество моделей.
Когда вы применяете линзу, теги становятся видимыми на узлах в графе происхождения, указывая значение слоя вместе с окраской на основе этого значения. Если вы значительно уменьшили масштаб, в графе видны только теги и их цвета.
Линзы полезны для анализа подмножества DAG, если вы увеличили масштаб, или для поиска моделей/проблем с более высокой точки зрения.
Пример линз
Пример применения линзы Materialization type к графу происхождения данных в уменьшенном масштабе. В левом нижнем углу откройте Lenses и выберите Materialization type. На каждом узле отображается цветной значок соответствующего типа материализации:
- Table
- View
- Incremental
- Ephemeral
- Materialized View.
Пример применения линзы Test status к графу происхождения данных, отфильтрованному по моделям. В левом нижнем углу откройте Lenses и выберите Test status. На каждом узле отображается цветной значок последнего статуса тестирования:
- Pass
- Error
- Fail
- Warn
- Skipped
- Reused.
Поиск по ключевым словам
В Catalog глобальная навигация предоставляет возможность поиска ресурсов dbt во всех ваших проектах, а также ресурсов в Snowflake, не относящихся к dbt.
Вы можете находить ресурсы в своем проекте, выполняя поиск по ключевым словам в строке поиска. Все имена ресурсов, имена колонок, описания ресурсов, связи с warehouse, а также код, соответствующие вашим критериям поиска, будут отображены списком в основной (центральной) части страницы. При поиске по точному имени колонки результаты показывают все реляционные узлы, содержащие эту колонку в своих схемах. Если найдено совпадение, в результате поиска отображается уведомление о том, что ресурс содержит указанную колонку. Кроме того, вы можете применять фильтры, чтобы дополнительно уточнить результаты поиска.
Пример поиска по ключевому слову
Пример результатов поиска по ключевому слову customers с применением фильтров models, description и code. Сигналы качества данных отображаются справа от имени модели в результатах поиска.
Обзор через боковую панель
С помощью боковой панели вы можете просматривать ресурсы проекта, его дерево файлов и базу данных.
- Вкладка Ресурсы — Все ресурсы проекта, сгруппированные по типу. Выберите любой тип ресурсов в списке, и все ресурсы этого типа в проекте отобразятся в виде таблицы в основной области страницы. Описание различных типов ресурсов (например, моделей, метрик и т. д.) см. в разделе О проектах dbt.
- Индикаторы состояния данных отображаются справа от имени ресурса в столбце Состояние.
- Вкладка Дерево файлов — Все ресурсы проекта, сгруппированные по файлам, в которых они определены. Эта структура повторяет дерево файлов в репозитории вашего проекта dbt.
- Вкладка База данных — Все ресурсы проекта, сгруппированные по базам данных и схемам, в которых они созданы. Эта структура повторяет структуру вашей платформы данных, которая отражает применённое состояние вашего проекта.
Доступ к интегрированным инструментам
Пользователи с лицензией разработчика или рабочим местом аналитика* могут открыть ресурс непосредственно из Catalog в Studio IDE для просмотра файлов его модели, в Insights для выполнения запросов к нему или в Canvas для визуального редактирования.
* Лицензия типа Analyst больше не доступна для приобретения.
Просмотр версий моделей
Если модели в проекте версионируются, вы можете увидеть, какая версия модели применяется — prerelease, latest и old — в заголовке страницы деталей модели и в списке моделей в боковой панели.
Просмотр сведений о ресурсе
Вы можете просмотреть определение и результаты последнего запуска любого ресурса в вашем проекте. Чтобы найти ресурс и просмотреть сведения о нём, воспользуйтесь графом зависимостей, поиском или просмотрите Catalog.
Доступные вам сведения (метаданные) зависят от типа ресурса, его определения и команд, которые выполняются в заданиях в production-окружении.
В правом верхнем углу страницы сведений о ресурсе вы можете:
- Нажать значок Открыть в Studio IDE, чтобы изучить ресурс в Studio IDE.
- Нажать значок «Поделиться», чтобы скопировать ссылку на страницу в буфер обмена.
Пример деталей модели
Чтобы открыть страницу модели в Catalog:
- Выберите проект в боковой панели.
- Нажмите Models.
- В разделе Models выберите модель, например
customers.
На вкладке General можно посмотреть описание, последний статус и граф зависимостей. Нажмите Full Lineage, чтобы открыть полный граф.
Стейджинговая среда
dbt Explorer поддерживает представления для стейджинговых сред развертывания, в дополнение к производственной среде. Это дает вам уникальный взгляд на ваши пред-производственные рабочие процессы данных с теми же инструментами, доступными в производстве, обеспечивая дополнительный уровень проверки.
Catalog поддерживает просмотр сред развёртывания staging в дополнение к среде production. Это даёт вам уникальную возможность изучать рабочие процессы обработки данных перед их запуском в production, используя те же инструменты, что и в production, и обеспечивая дополнительный уровень проверки.
Вы можете изучать метаданные среды production или staging, чтобы принимать обоснованные решения на протяжении жизненного цикла разработки данных. Просто назначьте одну среду в каждом проекте dbt как "production" или "staging" и убедитесь, что необходимые метаданные сгенерированы, — после этого вы сможете просматривать их в Catalog. Подробнее см. в разделе Генерация метаданных.
Связанные материалы
- Разрешения Enterprise
- Об управлении моделями
- Статья в блоге Что такое data mesh?




