Перейти к основному содержимому

Запись результатов запросов с помощью экспортов

Экспорты расширяют возможности saved queries, выполняя сохранённые запросы и записывая результат в таблицу или представление (view) на вашей платформе данных. Сохранённые запросы — это способ сохранять и повторно использовать часто применяемые запросы в MetricFlow. Экспорты выводят эту функциональность на новый уровень за счёт следующего:

  • Позволяя писать эти запросы в вашей платформе данных с использованием планировщика заданий dbt.
  • Предоставляя возможность интеграции для инструментов, которые изначально не поддерживают Semantic Layer, за счёт предоставления доступа к таблицам метрик и измерений.

По сути, результаты экспорта — это такие же таблицы, как и любые другие в вашей платформе данных: они позволяют запрашивать определения метрик через любой SQL-интерфейс или подключать инструменты последующей обработки без полноценной интеграции с Semantic Layer. Выполнение экспорта учитывается при подсчёте запрошенных метрик. Запросы к таблице или представлению, полученным в результате экспорта, не учитываются при подсчёте запрошенных метрик.

Предварительные условия​

  • У вас есть учетная запись dbt с тарифным планом Starter или Enterprise.
  • Вы используете одну из следующих платформ данных: Snowflake, BigQuery, Databricks, Redshift или Postgres.
  • Вы используете dbt версии 1.7 или новее.
  • В вашем проекте dbt настроен Semantic Layer.
  • У вас есть окружение dbt с включенным планировщиком заданий.
  • В вашем проекте dbt настроены сохраненный запрос и экспорт. При настройке используйте кеширование, чтобы кешировать часто выполняемые запросы, повысить производительность и снизить затраты на вычислительные ресурсы.

Преимущества экспортов​

Следующий раздел объясняет основные преимущества использования exports:

 DRY-представление

В настоящее время создание таблиц часто предполагает генерацию десятков, сотен или даже тысяч таблиц, которые денормализуют данные в сводные таблицы или таблицы витрин метрик. Основное преимущество exports заключается в создании представления логики в стиле «Don’t Repeat Yourself (DRY)» для построения каждой метрики, измерения, соединения, фильтра и т.д. Это позволяет переиспользовать эти компоненты для долгосрочной масштабируемости, даже если вы заменяете вручную написанные SQL-модели ссылками на метрики или измерения в сохранённых запросах.

 Более простые изменения

Exports гарантируют, что изменения в метриках и измерениях вносятся в одном месте и затем автоматически и последовательно распространяются на все целевые назначения. Это устраняет проблему, когда одну и ту же метрику приходится обновлять в каждой модели, которая ссылается на этот концепт.

 Кэширование

Используйте exports для предварительного заполнения кэша, чтобы заранее вычислять данные, необходимые для обслуживания пользователей через динамические API семантического слоя (Semantic Layer).

Соображения​

Экспорты предлагают множество преимуществ, и важно отметить некоторые случаи использования, которые выходят за рамки этих преимуществ:

  • Бизнес-пользователи все еще могут испытывать трудности с потреблением из десятков, сотен или тысяч таблиц, и выбор правильной может быть сложной задачей.
  • Бизнес-пользователи также могут совершать ошибки при агрегации и фильтрации из предварительно построенных таблиц.

Для этих сценариев используйте динамические API Semantic Layer вместо экспорта.

Запуск экспортов​

Прежде чем запускать экспорты в среде разработки или в продакшене, убедитесь, что вы настроили сохранённые запросы и экспорты в своём проекте dbt. В конфигурации сохранённого запроса также можно использовать кеширование совместно с планировщиком заданий dbt, чтобы кешировать часто выполняемые запросы, повысить производительность и сократить затраты на вычисления.

Существует два способа запуска экспорта:

Экспорты в разработке​

Вы можете выполнить экспорт в среде разработки, если хотите проверить его результат перед запуском в производственной среде.

Этот раздел объясняет различные команды и опции, доступные для запуска экспортов в разработке.

Если ваша среда работает на dbt v2 (включая Studio IDE), используйте dbt build вместо следующих команд. Подробнее см. в разделе Запуск экспортов.

  • Используйте команду dbt sl export, чтобы протестировать и создать экспорты в среде разработки для одного сохранённого запроса. Вы также можете использовать флаг --select, чтобы указать конкретные экспорты из сохранённого запроса.

  • Используйте команду dbt sl export-all, чтобы запускать экспорты для нескольких сохраненных запросов одновременно. Эта команда предоставляет удобный способ управления и выполнения экспортов для нескольких запросов одновременно, экономя время и усилия.

Экспорты для одного сохранённого запроса​

Эти команды применимы при использовании dbt platform CLI вне Studio IDE или dbt v2. Если ваша среда работает на dbt v2, используйте вместо них dbt build. Подробнее см. в разделе Запуск экспортов.

Используйте следующую команду для запуска экспортов в dbt platform CLI:

dbt sl export

Следующая таблица перечисляет параметры команды dbt sl export, используя префикс флага -- для указания параметров:

ПараметрыТипОбязательныйОписание
nameСтрокаОбязательныйИмя объекта export.
saved-queryСтрокаОбязательныйИмя сохраненного запроса, который может быть использован.
selectСписок или строкаНеобязательныйУкажите имена экспортов для выбора из сохраненного запроса.
excludeСтрокаНеобязательныйУкажите имена экспортов для исключения из сохраненного запроса.
export_asСтрокаНеобязательныйТип экспорта для создания из доступных типов export_as в конфигурации. Доступные опции: table или view.
schemaСтрокаНеобязательныйСхема для использования при создании таблицы или представления.
aliasСтрокаНеобязательныйПсевдоним таблицы для использования при записи таблицы или представления.

Вы также можете запустить любой экспорт, определенный для сохраненного запроса, и записать таблицу или представление в вашей среде разработки. Обратитесь к следующему примеру команды и выводу:

dbt sl export --saved-query sq_name

Вывод будет выглядеть примерно так:

Polling for export status - query_id: 2c1W6M6qGklo1LR4QqzsH7ASGFs..
Export completed.

Использование флага select​

Для сохранённого запроса можно настроить несколько экспортов. По умолчанию для сохранённого запроса выполняются все экспорты. Вы можете использовать флаг select при разработке, чтобы выбрать один или несколько экспортов. Нельзя выбрать только часть метрик или измерений из сохранённого запроса. Можно изменить только конфигурацию экспорта, например формат таблицы или схему.

Например, следующая команда запускает export_1 и export_2 и не работает с флагами --alias или --export_as:

dbt sl export --saved-query sq_name --select export_1,export2
Переопределение конфигураций экспорта

Флаг --select в основном используется для включения или исключения конкретных экспортов. Если вам нужно изменить эти настройки, вы можете использовать следующие флаги для переопределения конфигураций экспорта:

  • --export-as — Определяет тип материализации (таблица или представление) для экспорта. Это создает новый экспорт с собственными настройками и полезно для тестирования в разработке.
  • --schema — Указывает схему для использования при записи таблицы или представления.
  • --alias — Назначает пользовательский псевдоним для записываемой таблицы или представления. Это переопределяет имя экспорта по умолчанию.

Будьте осторожны. Флаг --select не может использоваться с alias или schema.

Например, вы можете использовать следующую команду для создания нового экспорта с именем new_export в виде таблицы:

dbt sl export --saved-query sq_number1 --export-as table --alias new_export

Экспорты для нескольких сохраненных запросов​

Используйте команду dbt sl export-all, чтобы запускать экспорты для нескольких сохраненных запросов одновременно. Это отличается от команды dbt sl export, которая запускает экспорты только для одного сохраненного запроса. Например, чтобы запустить экспорты для нескольких сохраненных запросов, вы можете использовать:

dbt sl export-all

Вывод будет выглядеть примерно так:

Exports completed:
- Created TABLE at `DBT_SL_TEST.new_customer_orders`
- Created VIEW at `DBT_SL_TEST.new_customer_orders_export_alias`
- Created TABLE at `DBT_SL_TEST.order_data_key_metrics`
- Created TABLE at `DBT_SL_TEST.weekly_revenue`

Polling completed

Команда dbt sl export-all предоставляет гибкость для управления несколькими экспортами в одной команде.

Экспорты в производстве​

Включение и выполнение экспортов в dbt оптимизирует рабочие процессы обработки данных и обеспечивает доступ к данным в реальном времени. Это повышает эффективность работы и качество управления данными для принятия более обоснованных решений.

Экспорты используют учетные данные по умолчанию для производственной среды. Чтобы включить экспорты для выполнения сохраненных запросов и записи их в вашей платформе данных, выполните следующие шаги:

  1. Задайте переменную окружения в dbt.
  2. Создайте и выполните запуск задания экспорта.

Установите переменную окружения​

  1. Нажмите Deploy на верхней панели навигации и выберите Environments.
  2. Выберите Environment variables.
  3. Задайте переменную окружения с ключом (Версии dbt: v1.11 и новее) DBT_ENGINE_EXPORT_SAVED_QUERIES и значением TRUE.

Это обеспечит включение сохранённых запросов и операций экспорта в ваше задание сборки dbt. Например, запуск dbt build -s sq_name эквивалентен выполнению dbt sl export --saved-query sq_name в планировщике заданий dbt.

Если экспорт не требуется, можно задать значение FALSE ((Версии dbt: v1.11 и новее) DBT_ENGINE_EXPORT_SAVED_QUERIES=FALSE).

Добавьте переменную окружения для выполнения экспорта при запуске в производственной среде.Добавьте переменную окружения для выполнения экспорта при запуске в производственной среде.

Когда вы запускаете задание сборки, любые сохраненные запросы, зависящие от моделей dbt в этом задании, также будут выполнены. Чтобы убедиться, что ваши данные экспорта актуальны, выполните экспорт как шаг нижнего уровня (после модели).

Создание и выполнение экспортов​

  1. Создайте задание развертывания и убедитесь, что переменная окружения (Версии dbt: v1.11 и новее) DBT_ENGINE_EXPORT_SAVED_QUERIES=TRUE задана, как описано в разделе Настройка переменной окружения.

    • Это позволяет выполнять любой экспорт, который необходимо обновить после построения модели.
    • Используйте параметр --select или -s из синтаксиса селекторов в команде построения, чтобы указать конкретную модель dbt или сохраненный запрос для выполнения. Например, чтобы выполнить все сохраненные запросы, расположенные ниже по графу зависимостей от семантической модели orders, используйте следующую команду:
      dbt build --select orders+
  2. После того как dbt завершит построение моделей, сервер MetricFlow обрабатывает экспорты, компилирует необходимый SQL и выполняет этот SQL в вашей платформе данных. Он напрямую выполняет оператор create table, поэтому данные остаются внутри вашей платформы данных.

  3. Просмотрите детали выполнения экспортов в логах заданий и убедитесь, что экспорт был выполнен успешно. Это помогает при поиске и устранении проблем, а также для проверки корректности. Поскольку сохранённые запросы интегрированы в DAG dbt, все выходные данные, связанные с экспортами, доступны в логах заданий.

  4. Теперь ваши данные доступны в платформе данных для выполнения запросов! 🎉

Часто задаваемые вопросы​

 Могу ли я иметь несколько экспортов в одном сохраненном запросе?
 Как я могу запустить все экспорты для сохраненного запроса?
 Буду ли я запускать дублирующие экспорты, если несколько моделей зависят от моего сохраненного запроса?
 Могу ли я ссылаться на экспорт как на модель dbt, используя ref()
 Как выбрать saved_queries по их типу ресурса?

Нашли ошибку?

0
Loading