Запись результатов запросов с помощью экспортов
Экспорты расширяют возможности saved queries, выполняя сохранённые запросы и записывая результат в таблицу или представление (view) на вашей платформе данных. Сохранённые запросы — это способ сохранять и повторно использовать часто применяемые запросы в MetricFlow. Экспорты выводят эту функциональность на новый уровень за счёт следующего:
- Позволяя писать эти запросы в вашей платформе данных с использованием планировщика заданий dbt.
- Предоставляя возможность интеграции для инструментов, которые изначально не поддерживают Semantic Layer, за счёт предоставления доступа к таблицам метрик и измерений.
По сути, результаты экспорта — это такие же таблицы, как и любые другие в вашей платформе данных: они позволяют запрашивать определения метрик через любой SQL-интерфейс или подключать инструменты последующей обработки без полноценной интеграции с Semantic Layer. Выполнение экспорта учитывается при подсчёте запрошенных метрик. Запросы к таблице или представлению, полученным в результате экспорта, не учитываются при подсчёте запрошенных метрик.
Предварительные условия
- У вас есть учетная запись dbt с тарифным планом Starter или Enterprise.
- Вы используете одну из следующих платформ данных: Snowflake, BigQuery, Databricks, Redshift или Postgres.
- Вы используете dbt версии 1.7 или новее.
- В вашем проекте dbt настроен Semantic Layer.
- У вас есть окружение dbt с включенным планировщиком заданий.
- В вашем проекте dbt настроены сохраненный запрос и экспорт. При настройке используйте кеширование, чтобы кешировать часто выполняемые запросы, повысить производительность и снизить затраты на вычислительные ресурсы.
Преимущества экспортов
Следующий раздел объясняет основные преимущества использования exports:
Соображения
Экспорты предлагают множество преимуществ, и важно отметить некоторые случаи использования, которые выходят за рамки этих преимуществ:
- Бизнес-пользователи все еще могут испытывать трудности с потреблением из десятков, сотен или тысяч таблиц, и выбор правильной может быть сложной задачей.
- Бизнес-пользователи также могут совершать ошибки при агрегации и фильтрации из предварительно построенных таблиц.
Для этих сценариев используйте динамические API Semantic Layer вместо экспорта.
Запуск экспортов
Прежде чем запускать экспорты в среде разработки или в продакшене, убедитесь, что вы настроили сохранённые запросы и экспорты в своём проекте dbt. В конфигурации сохранённого запроса также можно использовать кеширование совместно с планировщиком заданий dbt, чтобы кешировать часто выполняемые запросы, повысить производительность и сократить затраты на вычисления.
Существует два способа запуска экспорта:
- Запускайте экспорт в среде разработки, чтобы проверить результат перед запуском в рабочей среде. В Studio IDE или любой среде на dbt v2 вместо этого выполняйте
dbt build— предварительно задайте переменную среды. В dbt platform CLI вне dbt v2 выполняйтеdbt sl exportилиdbt sl export-all. - Запускайте экспорт в рабочей среде с помощью планировщика заданий dbt, чтобы записывать результаты этих запросов на вашей платформе данных.
Экспорты в разработке
Вы можете выполнить экспорт в среде разработки, если хотите проверить его результат перед запуском в производственной среде.
Этот раздел объясняет различные команды и опции, доступные для запуска экспортов в разработке.
Если ваша среда работает на dbt v2 (включая Studio IDE), используйте dbt build вместо следующих команд. Подробнее см. в разделе Запуск экспортов.
-
Используйте команду
dbt sl export, чтобы протестировать и создать экспорты в среде разработки для одного сохранённого запроса. Вы также можете использовать флаг--select, чтобы указать конкретные экспорты из сохранённого запроса. -
Используйте команду
dbt sl export-all, чтобы запускать экспорты для нескольких сохраненных запросов одновременно. Эта команда предоставляет удобный способ управления и выполнения экспортов для нескольких запросов одновременно, экономя время и усилия.
Экспорты для одного сохранённого запроса
Эти команды применимы при использовании dbt platform CLI вне Studio IDE или dbt v2. Если ваша среда работает на dbt v2, используйте вместо них dbt build. Подробнее см. в разделе Запуск экспортов.
Используйте следующую команду для запуска экспортов в dbt platform CLI:
dbt sl export
Следующая таблица перечисляет параметры команды dbt sl export, используя префикс флага -- для указания параметров:
| Параметры | Тип | Обязательный | Описание |
|---|---|---|---|
name | Строка | Обязательный | Имя объекта export. |
saved-query | Строка | Обязательный | Имя сохраненного запроса, который может быть использован. |
select | Список или строка | Необязательный | Укажите имена экспортов для выбора из сохраненного запроса. |
exclude | Строка | Необязательный | Укажите имена экспортов для исключения из сохраненного запроса. |
export_as | Строка | Необязательный | Тип экспорта для создания из доступных типов export_as в конфигурации. Доступные опции: table или view. |
schema | Строка | Необязательный | Схема для использования при создании таблицы или представления. |
alias | Строка | Необязательный | Псевдоним таблицы для использования при записи таблицы или представления. |
Вы также можете запустить любой экспорт, определенный для сохраненного запроса, и записать таблицу или представление в вашей среде разработки. Обратитесь к следующему примеру команды и выводу:
dbt sl export --saved-query sq_name
Вывод будет выглядеть примерно так:
Polling for export status - query_id: 2c1W6M6qGklo1LR4QqzsH7ASGFs..
Export completed.
Использование флага select
Для сохранённого запроса можно настроить несколько экспортов. По умолчанию для сохранённого запроса выполняются все экспорты. Вы можете использовать флаг select при разработке, чтобы выбрать один или несколько экспортов. Нельзя выбрать только часть метрик или измерений из сохранённого запроса. Можно изменить только конфигурацию экспорта, например формат таблицы или схему.
Например, следующая команда запускает export_1 и export_2 и не работает с флагами --alias или --export_as:
dbt sl export --saved-query sq_name --select export_1,export2
Переопределение конфигураций экспорта
Флаг --select в основном используется для включения или исключения конкретных экспортов. Если вам нужно изменить эти настройки, вы можете использовать следующие флаги для переопределения конфигураций экспорта:
--export-as— Определяет тип материализации (таблица или представление) для экспорта. Это создает новый экспорт с собственными настройками и полезно для тестирования в разработке.--schema— Указывает схему для использования при записи таблицы или представления.--alias— Назначает пользовательский псевдоним для записываемой таблицы или представления. Это переопределяет имя экспорта по умолчанию.
Будьте осторожны. Флаг --select не может использоваться с alias или schema.
Например, вы можете использовать следующую команду для создания нового экспорта с именем new_export в виде таблицы:
dbt sl export --saved-query sq_number1 --export-as table --alias new_export
Экспорты для нескольких сохраненных запросов
Используйте команду dbt sl export-all, чтобы запускать экспорты для нескольких сохраненных запросов одновременно. Это отличается от команды dbt sl export, которая запускает экспорты только для одного сохраненного запроса. Например, чтобы запустить экспорты для нескольких сохраненных запросов, вы можете использовать:
dbt sl export-all
Вывод будет выглядеть примерно так:
Exports completed:
- Created TABLE at `DBT_SL_TEST.new_customer_orders`
- Created VIEW at `DBT_SL_TEST.new_customer_orders_export_alias`
- Created TABLE at `DBT_SL_TEST.order_data_key_metrics`
- Created TABLE at `DBT_SL_TEST.weekly_revenue`
Polling completed
Команда dbt sl export-all предоставляет гибкость для управления несколькими экспортами в одной команде.
Экспорты в производстве
Включение и выполнение экспортов в dbt оптимизирует рабочие процессы обработки данных и обеспечивает доступ к данным в реальном времени. Это повышает эффективность работы и качество управления данными для принятия более обоснованных решений.
Экспорты используют учетные данные по умолчанию для производственной среды. Чтобы включить экспорты для выполнения сохраненных запросов и записи их в вашей платформе данных, выполните следующие шаги:
Установите переменную окружения
- Нажмите Deploy на верхней панели навигации и выберите Environments.
- Выберите Environment variables.
- Задайте переменную окружения с ключом (Версии dbt: v1.11 и новее)
DBT_ENGINE_EXPORT_SAVED_QUERIESи значениемTRUE.
Это обеспечит включение сохранённых запросов и операций экспорта в ваше задание сборки dbt. Например, запуск dbt build -s sq_name эквивалентен выполнению dbt sl export --saved-query sq_name в планировщике заданий dbt.
Если экспорт не требуется, можно задать значение FALSE ((Версии dbt: v1.11 и новее) DBT_ENGINE_EXPORT_SAVED_QUERIES=FALSE).
Когда вы запускаете задание сборки, любые сохраненные запросы, зависящие от моделей dbt в этом задании, также будут выполнены. Чтобы убедиться, что ваши данные экспорта актуальны, выполните экспорт как шаг нижнего уровня (после модели).
Создание и выполнение экспортов
-
Создайте задание развертывания и убедитесь, что переменная окружения (Версии dbt: v1.11 и новее)
DBT_ENGINE_EXPORT_SAVED_QUERIES=TRUEзадана, как описано в разделе Настройка переменной окружения.- Это позволяет выполнять любой экспорт, который необходимо обновить после построения модели.
- Используйте параметр
--selectили-sиз синтаксиса селекторов в команде построения, чтобы указать конкретную модель dbt или сохраненный запрос для выполнения. Например, чтобы выполнить все сохраненные запросы, расположенные ниже по графу зависимостей от семантической моделиorders, используйте следующую команду:
dbt build --select orders+ -
После того как dbt завершит построение моделей, сервер MetricFlow обрабатывает экспорты, компилирует необходимый SQL и выполняет этот SQL в вашей платформе данных. Он напрямую выполняет оператор
create table, поэтому данные остаются внутри вашей платформы данных. -
Просмотрите детали выполнения экспортов в логах заданий и убедитесь, что экспорт был выполнен успешно. Это помогает при поиске и устранении проблем, а также для проверки корректности. Поскольку сохранённые запросы интегрированы в DAG dbt, все выходные данные, связанные с экспортами, доступны в логах заданий.
-
Теперь ваши данные доступны в платформе данных для выполнения запросов! 🎉
