О Discovery API
Каждый раз, когда dbt Cloud выполняет проект, он генерирует и сохраняет информацию о проекте. Метаданные включают детали о моделях вашего проекта, источниках и других узлах вместе с результатами их выполнения. С помощью Discovery API dbt Cloud вы можете запрашивать эту обширную информацию, чтобы лучше понять ваш DAG и данные, которые он производит.
Используя метаданные в dbt Cloud, вы можете создавать системы для мониторинга данных и оповещений, исследования происхождения данных и автоматизированной отчетности. Это может помочь вам улучшить обнаружение данных, их качество и работу конвейеров в вашей организации.
Вы можете получить доступ к Discovery API через разовые запросы, пользовательские приложения, широкий спектр интеграций с партнерами (таких как BI/аналитика, каталогизация и управление, а также качество и наблюдаемость), а также используя функции dbt Cloud, такие как время выполнения моделей и плитки здоровья данных.
Богатая экосистема для интеграцииВы можете запрашивать метаданные dbt Cloud:
- На уровне окружения как для последнего состояния (используйте конечную точку
environment), так и для результатов исторических запусков (используйтеmodelByEnvironment) проекта dbt Cloud в производстве. - На уровне задания для получения результатов по конкретному запуску задания dbt Cloud для данного типа ресурса, например,
modelsилиtest.
Предварительные требования
- Аккаунт dbt Cloud мультиарендный или одноарендный
- Вы должны использовать план Team или Enterprise
- Ваши проекты должны быть на версии dbt 1.0 или выше. Обратитесь к Обновление версии dbt в Cloud для обновления.
Для чего можно использовать Discovery API
Нажмите на следующие вкладки, чтобы узнать больше о случаях использования API, анализе, который вы можете провести, и результатах, которых вы можете достичь, интегрировав его.
Чтобы использовать API напрямую или интегрировать ваш инструмент с ним, обратитесь к случаям использования и примерам для получения подробной информации.
- Производительность
- Качество
- Обнаружение
- Управление
- Разработка
Используйте API для анализа исторической информации, такой как время сборки модели, чтобы определить состояние ваших проектов dbt. Поиск неэффективностей в конфигурациях оркестрации может помочь снизить затраты на инфраструктуру и улучшить своевременность. Чтобы узнать больше о том, как это сделать, обратитесь к Производительность.
Вы можете использовать, например, вкладку время выполнения моделей, чтобы помочь выявить и оптимизировать узкие места в сборке моделей:
Визуализация времени выполнения модели в dbt CloudИспользуйте API, чтобы определить, являются ли данные точными и актуальными, отслеживая сбои тестов, свежесть источников и статус выполнения. Точная и надежная информация ценна для аналитики, принятия решений и мониторинга, чтобы помочь вашей организации избежать неправильных решений. Чтобы узнать больше об этом, обратитесь к Качество.
При использовании с вебхуками это также может помочь в обнаружении, расследовании и оповещении о проблемах.
Используйте API, чтобы находить и понимать активы dbt в интегрированных инструментах, используя информацию, такую как определения моделей и метрик, а также информацию о столбцах. Для получения более подробной информации обратитесь к Обнаружение.
Производители данных должны управлять и организовывать данные для заинтересованных сторон, в то время как потребители данных должны быстро и уверенно анализировать данные в большом масштабе, чтобы принимать обоснованные решения, которые улучшают бизнес-результаты и снижают организационные издержки. API полезен для обнаружения данных в каталогах, аналитических приложениях и инструментах машинного обучения (ML). Он может помочь вам понять происхождение и значение наборов данных для вашего анализа.
Происхождение данных, созданное dbtИспользуйте API, чтобы просмотреть, кто разработал модели и кто их использует, чтобы помочь установить стандартные практики для лучшего управления. Для получения более подробной информации обратитесь к Управление.
Используйте API, чтобы просмотреть изменения и использование наборов данных, изучая экспозиции, происхождение и зависимости. Изучив это, вы можете узнать, как определять и строить более эффективные проекты dbt. Для получения более подробной информации обратитесь к Разработка.
Используйте экспозиции, чтобы встроить плитки здоровья данных в ваши панели управления для передачи сигналов доверия потребителям данных.Типы состояния проекта
Существует два типа состояния проекта на уровне окружения, результаты которых вы можете запрашивать:
- Определение — Логическое состояние ресурсов проекта dbt, которое обновляется при изменении проекта.
- Примененное — Результат успешного выполнения DAG dbt, котор ый создает или описывает состояние базы данных (например:
dbt run,dbt test, свежесть источников и так далее).
Эти состояния позволяют вам легко изучать разницу между определением модели и ее примененным состоянием, чтобы вы могли получить ответы на такие вопросы, как: была ли выполнена модель? или выполнение не удалось? Примененные модели существуют как таблица/представление в платформе данных после их последнего успешного выполнения.