# Кэширование частых запросов

Платформа dbt | Enterprise, Enterprise+

Semantic Layer позволяет кэшировать часто используемые запросы, чтобы повысить производительность и сократить вычислительные затраты на дорогие запросы.

Существует два разных типа кэширования:

* [Кэширование результатов](#result-caching) использует встроенный уровень кэширования вашей платформы данных.
* [Декларативное кэширование](#declarative-caching) позволяет предварительно «прогреть» кэш с помощью конфигурации сохранённых запросов.

Хотя кэширование помогает ускорить выполнение запросов и сократить время вычислений, выбор подходящего типа зависит от вашего сценария использования:

* Кэширование результатов происходит автоматически за счёт использования кэша вашей платформы данных.
* Декларативное кэширование позволяет «задекларировать» конкретные запросы, которые вы хотите кэшировать. В этом случае вам нужно заранее определить, какие запросы следует кэшировать.
* Декларативное кэширование также позволяет динамически фильтровать дашборды, не теряя преимуществ кэширования по производительности. Это возможно потому, что фильтры по измерениям (которые уже указаны в конфигурации сохранённого запроса) будут использовать кэш.

## Предварительные требования

* Тарифный план [Enterprise или Enterprise+](https://www.getdbt.com/) для dbt.
* Среды dbt должны использовать [каналы выпуска](https://docs.getdbt.tech/docs/dbt-versions/dbt-release-tracks.md), а не устаревшие версии dbt v1.
* Успешное выполнение задания и [продакшен-среда](https://docs.getdbt.tech/docs/deploy/deploy-environments.md#set-as-production-environment).
* Для декларативного кэширования необходимо определить [экспорты](https://docs.getdbt.tech/docs/use-dbt-semantic-layer/exports.md) в YAML-файле конфигурации [сохранённых запросов](https://docs.getdbt.tech/docs/build/saved-queries.md).

## Кэширование результатов

Кэширование результатов использует встроенный уровень кэширования и возможности вашей платформы данных. [MetricFlow](https://docs.getdbt.tech/docs/build/about-metricflow.md) генерирует одинаковый SQL для нескольких запросов, что позволяет эффективно использовать кэш платформы данных. Обязательно проверьте спецификации вашей платформы данных.

Ниже показано, как работает кэширование на примере Snowflake (аналогично и для других платформ данных):

1. **Запуск из холодного кэша** — Когда вы выполняете запрос к semantic layer из BI‑инструмента, который не запускался в течение последних 24 часов, запрос сканирует весь набор данных и не использует кэш.
2. **Запуск из тёплого кэша** — Если вы повторно выполните тот же запрос через 1 час, SQL, сгенерированный и выполненный в Snowflake, останется тем же. В Snowflake кэш результатов задаётся на пользователя сроком на 24 часа, что позволяет повторному запросу использовать кэш и возвращать результаты быстрее.

Разные платформы данных могут иметь различные уровни кэширования и правила инвалидирования кэша. Ниже приведены ресурсы о том, как работает кэширование на некоторых популярных платформах данных:

* [BigQuery](https://cloud.google.com/bigquery/docs/cached-results)
* [DataBricks](https://docs.databricks.com/en/optimizations/disk-cache.html)
* [Microsoft Fabric](https://learn.microsoft.com/en-us/fabric/data-warehouse/caching)
* [Redshift](https://docs.aws.amazon.com/redshift/latest/dg/c_challenges_achieving_high_performance_queries.html#result-caching)
* [Snowflake](https://community.snowflake.com/s/article/Caching-in-the-Snowflake-Cloud-Data-Platform)
* [Starburst Galaxy](https://docs.starburst.io/starburst-galaxy/data-engineering/optimization-performance-and-quality/workload-optimization/warp-speed-enabled.html)

## Декларативное кэширование

Декларативное кэширование позволяет предварительно прогреть кэш с помощью [saved queries](https://docs.getdbt.tech/docs/build/saved-queries.md), установив параметр кэша в `true` в настройках `saved_queries`. Это полезно для оптимизации производительности ключевых дашбордов или часто используемых ad‑hoc запросов.

подсказка

Декларативное кэширование также позволяет динамически фильтровать дашборды, не теряя преимуществ кэширования по производительности. Это возможно потому, что фильтры по измерениям (которые уже указаны в конфигурации сохранённого запроса) будут использовать кэш.

Например, если вы фильтруете метрику по географическому региону на дашборде, запрос будет обращаться к кэшу, обеспечивая более быстрые результаты. Это также устраняет необходимость создавать отдельные сохранённые запросы со статическими фильтрами.

Подробности конфигурации см. в разделе [Настройка декларативного кэширования](#declarative-caching-setup).

Как работает декларативное кэширование:

* Убедитесь, что в YAML‑файле конфигурации saved queries определены [exports](https://docs.getdbt.tech/docs/use-dbt-semantic-layer/exports.md).

* Запуск сохранённого запроса инициирует работу Semantic Layer, который:

  * Создаёт кэшированную таблицу на основе сохранённого запроса с определёнными exports в вашей платформе данных.
  * Обеспечивает, чтобы любые запросы, соответствующие входным параметрам сохранённого запроса, использовали кэш и возвращали данные быстрее.
  * Автоматически инвалидирует кэш при обнаружении новых или обновлённых данных в любых вышестоящих моделях, связанных с метриками в кэшированной таблице.
  * Обновляет (или пересобирает) кэш при следующем запуске сохранённого запроса.

📹 Посмотрите это видео‑демо, чтобы увидеть, как работает декларативное кэширование!

В этом видео показано, что такое декларативное кэширование, как использовать его с помощью планировщика dbt и насколько быстро в результате загружаются ваши дашборды.

Обратитесь к следующей диаграмме, которая иллюстрирует, что происходит, когда Semantic Layer получает запрос:

[![Обзор процесса выполнения запросов с декларативным кэшем](/img/docs/dbt-platform/semantic-layer/declarative-cache-query-flow.jpg?v=2 "Обзор процесса выполнения запросов с декларативным кэшем")](#)Обзор процесса выполнения запросов с декларативным кэшем

### Настройка декларативного кэширования

Чтобы заполнить кэш, необходимо настроить export в YAML‑файле конфигурации saved query *и* установить параметр `cache config` в `true`. Нельзя кэшировать сохранённый запрос без определённого export.

semantic\_model.yml

```yaml
saved_queries:
  - name: my_saved_query
    ... # Rest of the saved queries configuration.
    config:
      cache:
        enabled: true  # Set to true to enable, defaults to false.
    exports:
      - name: order_data_key_metrics
        config:
          export_as: table
```

Чтобы включить saved queries на уровне проекта, можно задать конфигурацию `saved-queries` в файле [`dbt_project.yml`](https://docs.getdbt.tech/reference/dbt_project.yml.md). Это позволяет сэкономить время на настройке saved queries в каждом файле:

dbt\_project.yml

```yaml
saved-queries:
  my_saved_query:
    config:
      +cache:
        enabled: true
```

### Запуск декларативного кэша

После настройки декларативного кэширования в конфигурации YAML вы можете запускать [экспорты](https://docs.getdbt.tech/docs/use-dbt-semantic-layer/exports.md) с помощью планировщика заданий dbt, чтобы создавать в вашей платформе данных кэшированную таблицу на основе сохранённого запроса.

* Используйте [экспорты для настройки задания](https://docs.getdbt.tech/docs/use-dbt-semantic-layer/exports.md), запускающего сохранённый запрос в dbt.
* dbt Semantic Layer создаёт таблицу кэша в вашей платформе данных в выделенной схеме `dbt_sl_cache`.
* Схема и таблицы кэша создаются с использованием ваших учётных данных для развёртывания. Необходимо предоставить пользователю Semantic Layer доступ на чтение к этой схеме.
* Кэш обновляется (или пересоздаётся) по тому же расписанию, что и задание сохранённого запроса.

[![Обзор процесса создания кэша.](/img/docs/dbt-platform/semantic-layer/cache-creation-flow.jpg?v=2 "Обзор процесса создания кэша.")](#)Обзор процесса создания кэша.

После успешного выполнения job’ы вы можете вернуться к своему дашборду и оценить скорость и преимущества декларативного кэширования.

## Управление кэшем

dbt использует метаданные запусков ваших моделей dbt для интеллектуального управления инвалидацией кеша. При запуске задания dbt система отслеживает время последнего запуска модели и проверяет актуальность метрик, от которых зависит кеш.

Если вышестоящая модель содержит данные, созданные после создания кеша, dbt инвалидирует кеш. Это означает, что запросы не будут использовать устаревший кеш, а вместо этого будут обращаться непосредственно к исходным данным. Устаревшие таблицы кеша периодически удаляются, а при следующем запуске сохранённого запроса dbt создаст новый кеш.

Вы можете вручную инвалидировать кеш через [API семантического слоя dbt](https://docs.getdbt.tech/docs/dbt-apis/sl-api-overview.md), используя поле `InvalidateCacheResult`.

## Часто задаваемые вопросы

 Как кэширование взаимодействует с контролем доступа?

Кэшированные данные хранятся отдельно от базовых моделей. Если метрики извлекаются из кэша, контекст безопасности не применяется к этим таблицам во время выполнения запроса.

В будущем мы планируем клонировать учётные данные, определять минимально необходимый уровень доступа и применять эти разрешения к кэшированным таблицам.

## Связанные документы

* [Проверка semantic nodes в CI](https://docs.getdbt.tech/docs/deploy/ci-jobs.md#semantic-validations-in-ci)
* [Saved queries](https://docs.getdbt.tech/docs/build/saved-queries.md)
* [FAQ по Semantic Layer](https://docs.getdbt.tech/docs/use-dbt-semantic-layer/sl-faqs.md)
