Частые вопросы о dbt Catalog
Catalog — новая база знаний и инструмент визуализации происхождения данных в dbt. Он предлагает интерактивный обзор всей экосистемы данных вашей компании, позволяя подробно изучить контекст, необходимый для понимания и улучшения цепочек происхождения данных, чтобы ваши команды могли доверять данным, на основе которых они принимают решения.
Обзор
Как dbt Catalog помогает с качеством данных?
Catalog позволяет легко и интуитивно понять всю цепочку происхождения данных — от источника данных до слоя отчетности — чтобы вы могли устранять неполадки, совершенствовать и оптимизировать свои пайплайны. Благодаря встроенным функциям, таким как рекомендации по проекту и анализ производительности моделей, вы можете убедиться, что все ваши ресурсы данных надлежащим образом охвачены тестами и документацией, а также быстро выявлять медленно работающие модели и устранять причины их низкой производительности. Отслеживание происхождения данных на уровне столбцов позволяет быстро определить потенциальное влияние изменений таблиц на зависимые объекты или проследить цепочку в обратном направлении, чтобы оперативно установить первопричину инцидента. Catalog предоставляет командам информацию, необходимую для упреждающего повышения качества данных, помогая поддерживать высокую производительность пайплайнов и сохранять доверие к данным.
Как формируется стоимость dbt Catalog?
Catalog общедоступен во всех регионах и для всех типов развертывания на всех тарифных планах уровня Enterprise и плане Starter в dbt. Некоторые функции Catalog, такие как рекомендации по проектам, отслеживание происхождения данных между проектами, отслеживание происхождения данных на уровне столбцов и другие, доступны только на тарифных планах Enterprise и Enterprise+.
Catalog доступен пользователям с лицензиями разработчика и лицензиями только для чтения.
Что произошло с dbt Docs?
Catalog — это интерфейс документации по умолчанию для клиентов dbt. dbt Docs по-прежнему доступен, но не обеспечивает такой же скорости работы, объёма метаданных и прозрачности, как Catalog, и в дальнейшем перейдёт в категорию устаревших функций.
Как работает dbt Catalog
Можно ли использовать dbt Catalog локально или с самостоятельно развернутым dbt?
Нет. Catalog и все его возможности доступны только в интерфейсе dbt platform. Catalog отображает метаданные ваших проектов в dbt platform и их запусков.
Как dbt Catalog поддерживает окружения dbt?
Catalog поддерживает среду развертывания production или staging для каждого проекта, который вы хотите изучить. По умолчанию используется последнее состояние проекта в среде production или staging. Пользователи могут назначить только одну среду production и одну среду staging для каждого проекта dbt.
Поддержка сред разработки (dbt platform CLI и Studio IDE) появится в ближайшее время.
Как начать работу с Catalog? Как происходит обновление данных?
Просто выберите Catalog на верхней панели навигации dbt. Catalog автоматически обновляется после каждого запуска dbt в окружении соответствующего проекта (по умолчанию — в production). Команды dbt, которые вы выполняете в этом окружении, создают и обновляют метаданные в Catalog, поэтому убедитесь, что в заданиях этого окружения выполняется правильная комбинация команд; подробности см. в разделе Создание метаданных.
Можно ли экспортировать lineage dbt во внешнюю систему или каталог?
Да. Информация о происхождении данных, на которой основан Catalog, также доступна через Discovery API.
Как dbt Catalog интегрируется со сторонними инструментами для отображения сквозного lineage?
Catalog отражает все связи происхождения данных, определённые в проекте dbt. Наше видение развития Catalog — включение дополнительных метаданных из внешних инструментов, таких как инструменты загрузки данных (sources) и инструменты бизнес-аналитики и анализа данных (exposures), интегрированных с dbt, с бесшовным встраиванием этих метаданных в граф происхождения данных проекта dbt.
Почему ранее видимые данные исчезли из dbt Catalog?
Catalog автоматически удаляет устаревшие метаданные через 3 месяца, если за это время не запускались задания для их обновления. Чтобы этого избежать, настройте расписание так, чтобы задания с необходимыми командами запускались чаще, чем раз в 3 месяца.
Ключевые возможности
Поддерживает ли dbt Catalog multi-project discovery (dbt Mesh)?
Да. Подробнее см. в разделе Explore multiple projects.
Какие возможности поиска поддерживает dbt Catalog?
Поиск ресурсов поддерживает ключевые слова, частичные совпадения (fuzzy search) и логические операторы, такие как OR. Поиск по lineage поддерживает использование dbt selectors. Подробности см. в разделе Keyword search.
Можно ли просматривать информацию о выполнении моделей для джобы, которая сейчас выполняется?
dbt обновляет данные о производительности и метрики после выполнения задания. Однако на графиках Производительность моделей отображаются данные только за завершённые дни по UTC. Это означает, что запуски за текущий день по UTC не появятся на графиках до наступления следующего дня по UTC (полуночи UTC). Например, если вы находитесь в тихоокеанском часовом поясе США, запуски за текущий день отобразятся только после 16:00 по тихоокеанскому времени (PT).
Можно ли проанализировать количество успешных запусков моделей за месяц?
Диаграмма количества моделей, построенных по месяцам, доступна на панели мониторинга dbt.
Можно ли редактировать описания моделей или колонок прямо в dbt?
Да. Сейчас вы можете редактировать описания в Studio IDE или dbt platform CLI, изменяя YAML-файлы в проекте dbt. В будущем Catalog будет поддерживать больше способов редактирования описаний.
Откуда берутся рекомендации? Можно ли их настраивать?
Рекомендации в основном соответствуют правилам лучших практик из пакета dbt_project_evaluator. На данный момент рекомендации нельзя настраивать. В будущем Catalog, вероятно, будет поддерживать возможность настройки рекомендаций (например, в коде проекта).
Lineage на уровне колонок
Какие основные сценарии использования column-level lineage в dbt Catalog?
Происхождение данных на уровне столбцов в Catalog помогает улучшить многие рабочие процессы разработки данных, в том числе:
- Audit — визуализация того, как данные перемещаются и используются в dbt-проекте
- Root cause — сокращение времени обнаружения и устранения проблем с качеством данных за счет трассировки до источника
- Impact analysis — отслеживание трансформаций и использования, чтобы избежать проблем для потребителей данных
- Efficiency — удаление ненужных колонок для снижения затрат и нагрузки на команду данных
Остается ли column-level lineage рабочим, если имена колонок различаются между моделями?
Да. Column-level lineage корректно обрабатывает изменения имен колонок в разных местах dbt-проекта.
Могут ли несколько проектов использовать одно и то же определение колонки?
Нет. Cross-project column lineage поддерживается только в контексте просмотра того, как публичная модель используется в разных проектах, но не на уровне отдельных колонок.
Могут ли описания колонок автоматически распространяться downstream по lineage?
Да. Повторно используемая колонка, помеченная как passthrough или rename, наследует описание из source или upstream-модели. Иными словами, колонки источников и upstream-моделей передают свои описания downstream всякий раз, когда они не трансформируются, поэтому вам не нужно вручную задавать описание. Подробнее см. в разделе Inherited column descriptions.
Доступен ли column-level lineage на вкладке development?
Если вы разрабатываете в dbt platform, информация о происхождении данных на уровне столбцов недоступна в Studio IDE, но доступна в Catalog на тарифных планах Enterprise и Enterprise+. Если вы разрабатываете локально с помощью dbt v2, расширение dbt для VS Code показывает происхождение данных на уровне столбцов в вашем редакторе.
Доступность, доступ и права
Как пользователи без developer-роли могут взаимодействовать с dbt Catalog?
Пользователи с доступом только для чтения могут просматривать метаданные в Catalog. В будущем для аналитиков и участников с меньшей технической подготовкой появятся более специализированные интерфейсы и дополнительные возможности исследования данных.
Требуется ли определенный план dbt для использования dbt Catalog?
Catalog доступен на тарифе dbt Starter и всех тарифах Enterprise. Некоторые функции Catalog доступны только на тарифах Enterprise и Enterprise+, в том числе анализ производительности моделей, рекомендации по проектам, межпроектные связи, связи на уровне столбцов и другие. Полный список приведён в таблице доступности по тарифам.
Смогут ли пользователи самостоятельно размещённых установок dbt воспользоваться какими-либо из этих новых функций dbt Catalog?
Нет. Catalog — это продукт, доступный только в dbt.
Можно ли получить доступ к dbt Catalog с read-only лицензией?
Да, пользователи с доступом только для чтения могут использовать Catalog. Доступность отдельных функций в Catalog зависит от вашего тарифного плана dbt.
Есть ли простой способ поделиться полезным контентом dbt Catalog с людьми вне dbt?
Возможность встраивания и шаринга представлений рассматривается как потенциальная функция в будущем.
Доступен ли dbt Catalog из других разделов внутри dbt?
Да, вы можете открыть Catalog из различных инструментов dbt, что позволяет легко переходить между ресурсами и графом зависимостей вашего проекта.
Основной способ открыть Catalog — воспользоваться ссылкой Catalog в меню навигации, но вы также можете открыть его из Studio IDE, с вкладки графа зависимостей в заданиях и с вкладки времени выполнения моделей в заданиях.