Перейти к основному содержимому

О MetricFlow

Это руководство знакомит с базовыми идеями MetricFlow для тех, кто только начинает работать с этой функциональностью. MetricFlow, который лежит в основе Semantic Layer, помогает определять и управлять логикой метрик в вашей компании. Это набор абстракций с чётко заданным подходом, который помогает потребителям данных быстро и эффективно получать датасеты метрик из платформы данных.

MetricFlow отвечает за построение SQL-запросов и определяет спецификацию семантических моделей и метрик dbt. Он позволяет определять метрики в проекте dbt и запрашивать их с помощью команд MetricFlow как в dbt, так и в dbt v1.

Предварительные требования​

Прежде чем начать, ознакомьтесь со следующими рекомендациями:

(Версии dbt: v1.12 и новее)

MetricFlow​

MetricFlow — это инструмент генерации SQL-запросов, предназначенный для упрощения создания метрик в различных разрезах данных для разнообразных бизнес-задач.

  • Он работает с YAML-файлами, в которых семантический граф связывает язык с данными. Этот граф состоит из семантических моделей (точек доступа к данным) и метрик (функций для создания количественных показателей).
  • MetricFlow разрабатывается и поддерживается dbt Labs и работает с форматом Apache Ossie. Начиная с dbt v1.12, вы также можете определять семантические модели с помощью документов Ossie в качестве альтернативы собственной конфигурации dbt в формате YAML.
  • MetricFlow совместим с dbt версии 1.6 и выше.
  • MetricFlow распространяется по лицензии Apache 2.0. Мы приветствуем участие специалистов по работе с данными и энтузиастов в развитии проекта. Подробнее об истории лицензирования MetricFlow.
  • Как часть Semantic Layer, MetricFlow позволяет организациям определять метрики с помощью абстракций на основе YAML.
  • Для запроса измерений метрик и значений измерений, а также проверки конфигураций используйте команды MetricFlow.
примечание

В настоящее время MetricFlow не поддерживает встроенные функции или пакеты dbt, однако поддержка планируется в будущем.

  • Гибкость с полнотой: Определяйте логику метрик, используя гибкие абстракции на любой модели данных.
  • DRY (Don't Repeat Yourself): Минимизируйте избыточность, позволяя определять метрики, где это возможно.
  • Простота с постепенной сложностью: Подходите к MetricFlow, используя знакомые концепции моделирования данных.
  • Производительность и эффективность: Оптимизируйте производительность, поддерживая централизованную инженерию данных и распределенное владение логикой.

Семантический граф​

Мы вводим новую концепцию: "семантический граф". Это отношение между семантическими моделями и конфигурациями YAML, которое создает ландшафт данных для построения метрик. Вы можете думать о нем как о карте, где таблицы подобны местам, а связи между ними (ребра) подобны дорогам. Хотя это скрыто, семантический граф является подмножеством DAG, и вы можете видеть семантические модели как узлы на DAG.

Семантический граф помогает нам решить, какая информация доступна для использования и какая нет. Связи между таблицами в семантическом графе больше касаются отношений между информацией. Это отличается от DAG, где связи показывают зависимости между задачами.

Когда MetricFlow генерирует метрику, он использует свой SQL-движок, чтобы определить лучший путь между таблицами, используя фреймворк, определенный в YAML-файлах для семантических моделей и метрик. Когда эти модели и метрики правильно определены, они могут быть использованы далее с интеграциями семантического слоя dbt.

Когда MetricFlow генерирует метрику, он использует свой SQL‑движок, чтобы определить оптимальный путь между таблицами, опираясь на фреймворк, заданный в YAML‑файлах семантических моделей и метрик. Если эти модели и метрики определены корректно, их можно использовать далее вместе с интеграциями Semantic Layer.

Семантические модели​

Семантические модели — это отправные точки для работы с вашими данными, которые соответствуют моделям в вашем проекте dbt. На основе каждой модели можно создать несколько семантических моделей. Семантические модели, как и таблицы данных, содержат метаданные, которые определяют важную информацию, например имя таблицы и первичные ключи, необходимую для корректного обхода графа.

  • Сущности: Ключи соединения вашей семантической модели (их можно представить как пути обхода или рёбра между семантическими моделями).
  • Измерения: Способы группировки метрик или формирования их срезов.
(Версии dbt: v1.12 и новее)
  • Простые метрики: Метрики, которые напрямую ссылаются на выражение с одним столбцом в семантической модели, без участия дополнительных столбцов.

Метрики​

(Версии dbt: v1.12 и новее)

Метрики — одно из ключевых понятий — представляют собой функции, которые объединяют простые метрики, ограничения или другие математические функции для определения новых количественных показателей. MetricFlow использует различные типы агрегации, такие как среднее, сумма и количество уникальных значений, для создания метрик. Измерения добавляют контекст метрикам, а без них метрика — это просто число за всё время. Вы можете определять метрики в тех же YAML-файлах, что и семантические модели, или создать новый файл.

(Версии dbt: v1.12 и новее)
  • Конверсионная: Отслеживает, когда для сущности происходят базовое событие и последующее событие конверсии в течение заданного периода времени.
  • Накопительная: Агрегирует простую метрику в пределах заданного окна.
  • Производная: Определяет метрику как выражение на основе других метрик, что позволяет выполнять вычисления с использованием метрик.
  • Отношение: Определяет метрику как отношение двух простых метрик, например выручку на одного клиента.
  • Простая: Определяет метрику, которая напрямую ссылается на одно выражение столбца в семантической модели.

Пример использования​

В следующих разделах мы покажем, как специалисты по данным в настоящее время рассчитывают метрики и сравним это с тем, как MetricFlow упрощает и делает более гибким определение метрик.

Следующий пример данных основан на репозитории Jaffle Shop. Вы можете просмотреть полный проект dbt. Таблицы, которые мы используем в нашем примерной модели:

  • orders — это экспорт производственной платформы данных, который был очищен и организован для аналитического потребления.
  • customers — это частично денормализованная таблица в данном случае с колонкой, полученной из таблицы заказов через некоторый процесс на более высоком уровне.

Чтобы сделать объяснение более наглядным, рассмотрим метрику order_total, которая определяется с помощью SQL-выражения:

select sum(order_total) as order_total from orders Это выражение вычисляет общую выручку по всем заказам, суммируя значения столбца order_total в таблице orders. В бизнес-контексте метрику order_total часто рассчитывают в различных разрезах, например:

  • По времени, например date_trunc(ordered_at, 'day')
  • По типу заказа, используя измерение is_food_order из таблицы orders

Расчет метрик​

Далее мы сравним, как специалисты по данным в настоящее время рассчитывают метрики с помощью нескольких запросов, и как MetricFlow упрощает и оптимизирует этот процесс.

Следующий пример показывает, как специалисты по данным обычно рассчитывают метрику order_total в агрегированном виде. Также вероятно, что аналитиков просят предоставить больше деталей по метрике, например, сколько дохода поступило от новых клиентов.

Использование следующего запроса создает ситуацию, когда несколько аналитиков работают с одними и теми же данными, каждый используя свой метод запроса — это может привести к путанице, несоответствиям и головной боли для управления данными.

select
date_trunc('day',orders.ordered_at) as day,
case when customers.first_ordered_at is not null then true else false end as is_new_customer,
sum(orders.order_total) as order_total
from
orders
left join
customers
on
orders.customer_id = customers.customer_id
group by 1, 2

Часто задаваемые вопросы​

 Нужно ли нормализовать мои наборы данных?
 Почему нормализованные данные являются идеальным входом?
 Как dbt Semantic Layer обрабатывает соединения?
 Являются ли сущности и ключи соединения одним и тем же?
 Может ли таблица без первичной или уникальной сущности иметь измерения?

Нашли ошибку?

0
Loading