О Lake Compute Закрытая бета-версия

Lake Compute находится на стадии закрытого бета-тестирования

Чтобы запросить доступ или поддержку региона, заполните форму регистрации Lake Compute. Lake Compute активно разрабатывается и может изменяться. Возможны изменения, нарушающие обратную совместимость; документация может быть неполной, а техническая поддержка — ограниченной. На период бета-тестирования соглашение об уровне обслуживания не распространяется. Ознакомьтесь с ограничениями закрытого бета-тестирования, прежде чем планировать использование Lake Compute в реальных задачах.

Lake Compute — это размещаемый в облаке бессерверный вычислительный движок для выполнения моделей dbt. Он работает на базе DuckDB и Apache Iceberg и предназначен для задач преобразования данных, которым не требуются все возможности или масштаб распределённого облачного хранилища данных.

Lake Compute поддерживает два варианта выполнения:

1. В качестве вспомогательного движка («sidecar») наряду с существующим хранилищем данных, например Snowflake или Databricks. Вы можете выбирать движок выполнения отдельно для каждой модели, сохраняя единый проект dbt, единый DAG и единый граф ref.
2. В качестве основного вычислительного адаптера для новых проектов dbt совместно с каталогом Iceberg (например, Fivetran MDLS).

Lake Compute не предназначен для полной замены облачного хранилища данных и не является универсальным движком запросов. Используйте Lake Compute только для преобразований dbt. Задачи, которым необходимы большое число одновременных запросов, подключение BI-инструментов, расширенные возможности хранилища данных (например, функции ML или AI) или распределённые вычисления, оставляйте в основном хранилище данных.

Зачем использовать Lake Compute

Свобода выбора и гибкость. Более простые и небольшие преобразования можно выполнять в Lake Compute, а хранилище данных остаётся доступным для задач, которым необходимы распределённая обработка, большое число одновременных запросов, проприетарные функции или расширенная аналитика. Lake Compute всегда читает и записывает данные в формате таблиц Iceberg, поэтому к работе легко подключать другие вычислительные движки.

Предварительные требования

Для настройки Lake Compute вам понадобятся:

• Участие в закрытом бета-тестировании Lake Compute. Запросите доступ через форму регистрации Lake Compute. Вкладка Compute не появится в вашем целевом подключении MDLS, пока ваша учётная запись не будет включена в программу тестирования.
• Учётная запись Fivetran. Вы можете создать новую учётную запись Fivetran и пользоваться ею неограниченное время, поскольку плата за MDLS и Lake Compute пока не взимается; либо опробовать полный набор возможностей (включая коннекторы) в течение 14 дней.
• Существующее целевое подключение Fivetran Managed Data Lake Service (MDLS), включающее каталог MDLS Iceberg (Polaris) и бакет Amazon S3, уже находящееся в поддерживаемом регионе AWS, либо новое подключение с бакетом в поддерживаемом регионе AWS. Lake Compute, ваш бакет и (при использовании Lake Compute в режиме «sidecar») ваши основные данные должны находиться в одном регионе. В настоящее время Lake Compute поддерживает регионы AWS us-east-1 и us-west-2. Если вам нужен регион, которого нет в списке, заполните форму регистрации, чтобы запросить его поддержку.
• Разрешения на настройку необходимого облачного хранилища, интеграции с каталогом, доступа к хранилищу данных, аутентификации и, где применимо, списков разрешённых адресов в сетевых политиках.

После завершения настройки вам понадобится проект dbt, работающий на dbt v2. Также потребуется время, чтобы определить подходящие модели, при необходимости адаптировать SQL и проверить результаты.

Поддерживаемые хранилища данных

Snowflake — единственное хранилище данных, поддерживаемое во время закрытого бета-тестирования. Предварительная поддержка Databricks доступна ограниченному числу партнёров, участвующих в разработке продукта. Чтобы опробовать Lake Compute с Databricks, заполните форму регистрации Lake Compute и укажите Databricks в качестве своей платформы.

В режиме «sidecar» Lake Compute работает параллельно с вашим хранилищем данных, читая данные из его управляемого каталога Iceberg (Snowflake Horizon или Databricks Unity) и записывая или передавая результаты обратно в этот каталог.

Необходимые разрешения

Для настройки необходимы разрешения на следующие действия:

• Создание бакета облачного хранилища
• Создание или настройка целевого подключения MDLS в вашей учётной записи Fivetran

В зависимости от вашего хранилища данных также может потребоваться:

• Настроить интеграцию с каталогом хранилища данных и предоставить доступ к ней пользователю или роли, от имени которых запускается dbt
• Настроить аутентификацию по паре ключей или другой необходимый способ программной аутентификации
• Разрешить исходящий трафик Lake Compute, если в вашей учётной записи хранилища данных применяются сетевые политики

Для Snowflake некоторые шаги настройки требуют роли ACCOUNTADMIN или эквивалентных делегированных привилегий, например NETWORK_ADMIN для изменения сетевых политик. Всегда обращайтесь к актуальному руководству по настройке: оно могло измениться с момента первоначальной настройки Lake Compute.

Обязательная переменная окружения

В dbt использование Lake Compute требует явного включения экспериментальной функции. dbt откажется запускать любую конфигурацию Lake Compute, если вы не зададите:

export DBT_ENGINE_EXPERIMENTAL_MULTI_ADAPTER=true

Сообщить об ошибке в коде

Одна переменная управляет доступностью всех способов выбора адаптера:

Что управляется переменной	Примечания
type: lakecompute в profiles.yml	Требуется как для режима «sidecar», так и для использования Lake Compute в качестве адаптера по умолчанию
Конфигурация adapter для узла	Применяется к моделям, seeds, снимкам, анализам, функциям и тестам данных. Пока функция отключена, dbt не допускает никаких значений, а не только lakecompute
Флаг командной строки --adapter	—

Для dbt platform задайте эту переменную в качестве переменной окружения для соответствующей среды. См. Подключение к Lake Compute.

Ограничения закрытого бета-тестирования

Во время закрытого бета-тестирования следующие возможности не поддерживаются или намеренно ограничены:

• Проекты, работающие на dbt v1
• Доступ по JDBC или ODBC и прямые подключения BI-инструментов.
• Управление доступом на основе ролей (RBAC) для таблиц Iceberg в MDLS, записанных Lake Compute.
• Встроенные в хранилище данных SQL-функции AI и другие проприетарные возможности хранилища.
• Автоматическое преобразование диалектов SQL.
• Распределённое или многоузловое выполнение.
• Соединения двух больших наборов данных и другие задачи, требующие распределённой обработки.
• Хранилища GCP и Azure.
• Интеграция с BigQuery.
• Регионы AWS, отличные от регионов, которые в настоящее время поддерживаются в бета-версии.

Со временем могут появиться дополнительные возможности и регионы, но пункты плана развития и указанные в нём сроки не являются обязательствами.

Какие возможности фреймворка dbt поддерживает Lake Compute во время закрытого бета-тестирования?

Вы можете:

• Создавать модели dbt с простыми материализациями:
  • table — используется по умолчанию
  • incremental с incremental_strategy: append или insert_overwrite (совместно с partition_by)
• Использовать модели ephemeral
• Выполнять тесты данных с помощью Lake Compute для моделей, созданных с помощью Lake Compute
• Просматривать предварительные результаты с помощью dbt show
  • dbt show --select MODEL_NAME --adapter lakecompute
  • dbt show --inline SQL_QUERY --adapter lakecompute

Пока не поддерживаются:

• Материализация view
• Выдача прав доступа
• persist_docs
• Хуки pre-hook / post-hook
• Модульные тесты

Связанная документация

• Настройка Lake Compute
• Часто задаваемые вопросы о Lake Compute

Нашли ошибку?

Создать GitHub Issue