Валидации
Валидации — это процесс проверки того, что система или конфигурация соответствует ожидаемым требованиям или ограничениям. В случае с Semantic Layer, работающим на базе MetricFlow, предусмотрены три встроенные валидации — parsing, semantic и data platform.
Эти проверки гарантируют, что файлы конфигурации соответствуют ожидаемой схеме, семантический граф не нарушает никаких ограничений, а семантические определения в графе существуют в физической таблице — обеспечивая эффективную поддержку управления данными. Эти три этапа проверки выполняются последовательно, и каждый из них должен завершиться успешно, прежде чем можно будет перейти к следующему.
Код, который обрабатывает валидацию, можно найти здесь для тех, кто хочет углубиться в эту тему.
Команда валидации
Вы можете запускать проверки из dbt platform или из командной строки с помощью следующих команд MetricFlow. В dbt для запуска dbt sl validate в IDE или CLI необходимо настроить учетные данные пользователя в настройках вашей учетной записи, а для запуска в CI — учетные данные развертывания.
-
Для пользователей dbt v2 и dbt в dbt platform CLI или локально с действительным
dbt_cloud.yml:dbt sl validateКоманда проверяет разбор, семантику и, где поддерживается, совместимость с платформой данных.
При локальном запуске
dbt sl validateпроверяет локальный семантический манифест, поэтому в проверку попадают и незакоммиченные изменения. -
Для пользователей dbt v1 с открытым исходным кодом или CLI v2 без подключения к платформе dbt, если используется локальный MetricFlow:
mf validate-configsКоманда проверяет разбор и семантику.
Доступность по средам
Доступность и поведение проверок зависят от среды и её настроек:
| Среда | Для кого | Разбор | Семантический синтаксис | Платформа данных | Как запустить |
|---|---|---|---|---|---|
| dbt v2 | Пользователи dbt platform со всеми возможностями Semantic Layer | ✅ | ✅ * | ✅ | - Проверка разбора выполняется автоматически при создании семантического манифеста. - В среде разработки dbt platform проверяет семантический синтаксис автоматически при наличии dbt_cloud.yml. Иначе запустите mf validate-configs вручную. - Чтобы проверить платформу данных в dbt v2, запустите dbt sl validate вручную. |
| dbt platform CLI | Пользователи dbt platform | ✅ | ✅ | ✅ | Любая команда dbt platform CLI автоматически запускает проверки, кроме проверки платформы данных. Для неё запустите dbt sl validate. |
| dbt v1 | Пользователи версии с открытым исходным кодом | ✅ | ✅ | ❌ | Используйте dbt v1 для разбора и сборки. Дополнительную проверку запустите вручную через CLI MetricFlow. |
| CLI MetricFlow | Пользователи версии с открытым исходным кодом | ✅ | ✅ | ✅ | Запустите mf validate-configs локально, чтобы проверить конфигурацию и протестировать метрики. |
* Задания, запущенные в Orchestration или Studio IDE, выполняют эту проверку автоматически.
Синтаксическая валидация
На этом этапе валидации мы проверяем, что ваши файлы конфигурации соответствуют заданной схеме для каждого объекта семантического графа и могут быть успешно разобраны. На этом этапе проверяются схемы следующих основных объектов:
(Версии dbt: v1.12 и новее)- Семантические модели
- Идентификаторы
- Простые метрики
- Измерения
- Метрики
Семантический синтаксис
Этот этап синтаксической проверки выполняется после построения вашего семантического графа. Semantic Layer на базе MetricFlow выполняет набор тестов, чтобы убедиться, что ваш семантический граф не нарушает никаких ограничений. Например, мы проверяем, уникальны ли имена (Версии dbt: v1.12 и новее) простых метрик и существуют ли метрики, на которые ссылается материализация. Сейчас мы проверяем следующие семантические правила:
(Версии dbt: v1.12 и новее)- Проверка наличия корректного временного измерения в семантических моделях с простыми метриками
- Проверка того, что в каждой семантической модели определён только один первичный идентификатор
- Согласованность измерений
- Уникальность простых метрик в семантических моделях
- Корректность простых метрик
- Правильность настройки накопительных метрик
Платформа данных
Этот тип валидации проверяет, существуют ли семантические определения из вашего семантического графа в базовой физической таблице. Для этого мы выполняем запросы к вашей платформе данных, чтобы убедиться, что сгенерированный SQL для семантических моделей, измерений и метрик выполняется без ошибок.
Мы выполняем следующие проверки:
(Версии dbt: v1.12 и новее)- Простые метрики и измерения существуют
- Базовые таблицы источников данных существуют
- Сгенерированный SQL для метрик выполняется без ошибок
Вы можете запускать семантические валидации (против вашего семантического слоя) в CI задаче, чтобы гарантировать, что любые изменения кода, внесенные в модели dbt, не нарушают эти метрики. Для получения дополнительной информации обратитесь к семантической валидации в CI.