Кэширование частых запросов
Semantic Layer позволяет кэшировать часто используемые запросы, чтобы повысить производительность и сократить вычислительные затраты на дорогие запросы.
Существует два разных типа кэширования:
- Кэширование результатов использует встроенный уровень кэширования вашей платформы данных.
- Декларативное кэширование позволяет предварительно «прогреть» кэш с помощью конфигурации сохранённых запросов.
Хотя кэширование помогает ускорить выполнение запросов и сократить время вычислений, выбор подходящего типа зависит от вашего сценария использования:
- Кэширование результатов происходит автоматически за счёт использования кэша вашей платформы данных.
- Декларативное кэширование позволяет «задекларировать» конкретные запросы, которые вы хотите кэшировать. В этом случае вам нужно заранее определить, какие запросы следует кэшировать.
- Декларативное кэширование также позволяет динамически фильтровать дашборды, не теряя преимуществ кэширования по производительности. Это возможно потому, что фильтры по измерениям (которые уже указаны в конфигурации сохранённого запроса) будут использовать кэш.
Предварительные требования
- Тарифный план Enterprise или Enterprise+ для dbt.
- Среды dbt должны использовать каналы выпуска, а не устаревшие версии dbt v1.
- Успешное выполнение задания и продакшен-среда.
- Для декларативного кэширования необходимо определить экспорты в YAML-файле конфигурации сохранённых запросов.
Кэширование результатов
Кэширование результатов использует встроенный уровень кэширования и возможности вашей платформы данных. MetricFlow генерирует одинаковый SQL для нескольких запросов, что позволяет эффективно использовать кэш платформы данных. Обязательно проверьте спецификации вашей платформы данных.
Ниже показано, как работает кэширование на примере Snowflake (аналогично и для других платформ данных):
- Запуск из холодного кэша — Когда вы выполняете запрос к semantic layer из BI‑инструмента, который не запускался в течение последних 24 часов, запрос сканирует весь набор данных и не использует кэш.
- Запуск из тёплого кэша — Если вы повторно выполните тот же запрос через 1 час, SQL, сгенерированный и выполненный в Snowflake, останется тем же. В Snowflake кэш результатов задаётся на пользователя сроком на 24 часа, что позволяет повторному запросу использовать кэш и возвращать результаты быстрее.
Разные платформы данных могут иметь различные уровни кэширования и правила инвалидирования кэша. Ниже приведены ресурсы о том, как работает кэширование на некоторых популярных платформах данных:
Декларативное кэширование
Декларативное кэширование позволяет предварительно прогреть кэш с помощью saved queries, установив параметр кэша в true в настройках saved_queries. Это полезно для оптимизации производительности ключевых дашбордов или часто используемых ad‑hoc запросов.
Декларативное кэширование также позволяет динамически фильтровать дашборды, не теряя преимуществ кэширования по производительности. Это возможно потому, что фильтры по измерениям (которые уже указаны в конфигурации сохранённого запроса) будут использовать кэш.
Например, если вы фильтруете метрику по географическому региону на дашборде, запрос будет обращаться к кэшу, обеспечивая более быстрые результаты. Это также устраняет необходимость создавать отдельные сохранённые запросы со статическими фильтрами.
Подробности конфигурации см. в разделе Настройка декларативного кэширования.
Как работает декларативное кэширование:
- Убедитесь, что в YAML‑файле конфигурации saved queries определены exports.
- Запуск сохранённого запроса инициирует работу Semantic Layer, который:
- Создаёт кэшированную таблицу на основе сохранённого запроса с определёнными exports в вашей платформе данных.
- Обеспечивает, чтобы любые запросы, соответствующие входным параметрам сохранённого запроса, использовали кэш и возвращали данные быстрее.
- Автоматически инвалидирует кэш при обнаружении новых или обновлённых данных в любых вышестоящих моделях, связанных с метриками в кэшированной таблице.
- Обновляет (или пересобирает) кэш при следующем запуске сохранённого запроса.
📹 Посмотрите это видео‑демо, чтобы увидеть, как работает декларативное кэширование!
В этом видео показано, что такое декларативное кэширование, как использовать его с помощью планировщика dbt и насколько быстро в результате загружаются ваши дашборды.
Обратитесь к следующей диаграмме, которая иллюстрирует, что происходит, когда Semantic Layer получает запрос:
Настройка декларативного кэширования
Чтобы заполнить кэш, необходимо настроить export в YAML‑файле конфигурации saved query и установить параметр cache config в true. Нельзя кэшировать сохранённый запрос без определённого export.
saved_queries:
- name: my_saved_query
... # Rest of the saved queries configuration.
config:
cache:
enabled: true # Set to true to enable, defaults to false.
exports:
- name: order_data_key_metrics
config:
export_as: table
Чтобы включить saved queries на уровне проекта, можно задать конфигурацию saved-queries в файле dbt_project.yml. Это позволяет сэкономить время на настройке saved queries в каждом файле:
saved-queries:
my_saved_query:
config:
+cache:
enabled: true
Запуск декларативного кэша
После настройки декларативного кэширования в конфигурации YAML вы можете запускать экспорты с помощью планировщика заданий dbt, чтобы создавать в вашей платформе данных кэшированную таблицу на основе сохранённого запроса.
- Используйте экспорты для настройки задания, запускающего сохранённый запрос в dbt.
- dbt Semantic Layer создаёт таблицу кэша в вашей платформе данных в выделенной схеме
dbt_sl_cache. - Схема и таблицы кэша создаются с использованием ваших учётных данных для развёртывания. Необходимо предоставить пользователю Semantic Layer доступ на чтение к этой схеме.
- Кэш обновляется (или пересоздаётся) по тому же расписанию, что и задание сохранённого запроса.
После успешного выполнения job’ы вы можете вернуться к своему дашборду и оценить скорость и преимущества декларативного кэширования.
Управление кэшем
dbt использует метаданные запусков ваших моделей dbt для интеллектуального управления инвалидацией кеша. При запуске задания dbt система отслеживает время последнего запуска модели и проверяет актуальность метрик, от которых зависит кеш.
Если вышестоящая модель содержит данные, созданные после создания кеша, dbt инвалидирует кеш. Это означает, что запросы не будут использовать устаревший кеш, а вместо этого будут обращаться непосредственно к исходным данным. Устаревшие таблицы кеша периодически удаляются, а при следующем запуске сохранённого запроса dbt создаст новый кеш.
Вы можете вручную инвалидировать кеш через API семантического слоя dbt, используя поле InvalidateCacheResult.

