Перейти к основному содержимому

Валидации

Валидации — это процесс проверки того, что система или конфигурация соответствует ожидаемым требованиям или ограничениям. В случае с Semantic Layer, работающим на базе MetricFlow, предусмотрены три встроенные валидации — parsing, semantic и data platform.

Эти проверки гарантируют, что файлы конфигурации соответствуют ожидаемой схеме, семантический граф не нарушает никаких ограничений, а семантические определения в графе существуют в физической таблице — обеспечивая эффективную поддержку управления данными. Эти три этапа проверки выполняются последовательно, и каждый из них должен завершиться успешно, прежде чем можно будет перейти к следующему.

Код, который обрабатывает валидацию, можно найти здесь для тех, кто хочет углубиться в эту тему.

Команда валидации​

Вы можете запускать проверки из dbt platform или из командной строки с помощью следующих команд MetricFlow. В dbt для запуска dbt sl validate в IDE или CLI необходимо настроить учетные данные пользователя в настройках вашей учетной записи, а для запуска в CI — учетные данные развертывания.

  • Для пользователей dbt v2 и dbt в dbt platform CLI или локально с действительным dbt_cloud.yml:

    dbt sl validate

    Команда проверяет разбор, семантику и, где поддерживается, совместимость с платформой данных.

    При локальном запуске dbt sl validate проверяет локальный семантический манифест, поэтому в проверку попадают и незакоммиченные изменения.

  • Для пользователей dbt v1 с открытым исходным кодом или CLI v2 без подключения к платформе dbt, если используется локальный MetricFlow:

    mf validate-configs

    Команда проверяет разбор и семантику.

Доступность по средам​

Доступность и поведение проверок зависят от среды и её настроек:

СредаДля когоРазборСемантический синтаксисПлатформа данныхКак запустить
dbt v2Пользователи dbt platform со всеми возможностями Semantic Layer✅✅ *✅- Проверка разбора выполняется автоматически при создании семантического манифеста.
- В среде разработки dbt platform проверяет семантический синтаксис автоматически при наличии dbt_cloud.yml. Иначе запустите mf validate-configs вручную.
- Чтобы проверить платформу данных в dbt v2, запустите dbt sl validate вручную.
dbt platform CLIПользователи dbt platform✅✅✅Любая команда dbt platform CLI автоматически запускает проверки, кроме проверки платформы данных. Для неё запустите dbt sl validate.
dbt v1Пользователи версии с открытым исходным кодом✅✅❌Используйте dbt v1 для разбора и сборки. Дополнительную проверку запустите вручную через CLI MetricFlow.
CLI MetricFlowПользователи версии с открытым исходным кодом✅✅✅Запустите mf validate-configs локально, чтобы проверить конфигурацию и протестировать метрики.

* Задания, запущенные в Orchestration или Studio IDE, выполняют эту проверку автоматически.

Синтаксическая валидация​

На этом этапе валидации мы проверяем, что ваши файлы конфигурации соответствуют заданной схеме для каждого объекта семантического графа и могут быть успешно разобраны. На этом этапе проверяются схемы следующих основных объектов:

(Версии dbt: v1.12 и новее)
  • Семантические модели
  • Идентификаторы
  • Простые метрики
  • Измерения
  • Метрики

Семантический синтаксис​

Этот этап синтаксической проверки выполняется после построения вашего семантического графа. Semantic Layer на базе MetricFlow выполняет набор тестов, чтобы убедиться, что ваш семантический граф не нарушает никаких ограничений. Например, мы проверяем, уникальны ли имена (Версии dbt: v1.12 и новее) простых метрик и существуют ли метрики, на которые ссылается материализация. Сейчас мы проверяем следующие семантические правила:

(Версии dbt: v1.12 и новее)
  1. Проверка наличия корректного временного измерения в семантических моделях с простыми метриками
  2. Проверка того, что в каждой семантической модели определён только один первичный идентификатор
  3. Согласованность измерений
  4. Уникальность простых метрик в семантических моделях
  5. Корректность простых метрик
  6. Правильность настройки накопительных метрик

Платформа данных​

Этот тип валидации проверяет, существуют ли семантические определения из вашего семантического графа в базовой физической таблице. Для этого мы выполняем запросы к вашей платформе данных, чтобы убедиться, что сгенерированный SQL для семантических моделей, измерений и метрик выполняется без ошибок.

Мы выполняем следующие проверки:

(Версии dbt: v1.12 и новее)
  • Простые метрики и измерения существуют
  • Базовые таблицы источников данных существуют
  • Сгенерированный SQL для метрик выполняется без ошибок

Вы можете запускать семантические валидации (против вашего семантического слоя) в CI задаче, чтобы гарантировать, что любые изменения кода, внесенные в модели dbt, не нарушают эти метрики. Для получения дополнительной информации обратитесь к семантической валидации в CI.

Нашли ошибку?

0
Loading