Поддержка Apache Iceberg
Apache Iceberg — это открытый формат таблиц, который повышает переносимость данных и совместимость инструментов в экосистеме данных. Стандартизируя хранение данных и доступ к ним, Iceberg позволяет командам использовать одни и те же данные в нескольких движках и платформах без репликации.
Поддержка Iceberg на платформах данных и в dbt охватывает несколько уровней:
- Формат таблиц Iceberg — Формат таблиц с открытым исходным кодом. Таблицы Iceberg представляют собой сочетание файлов данных в объектном хранилище (например, файлов Parquet в бакете S3) и файлов метаданных (содержащих сведения о схеме таблицы, её версиях и многом другом), которые также находятся в объектном хранилище.
- Каталог данных Iceberg — Открытая спецификация системы метаданных, которая отслеживает схемы, секции и версии нескольких таблиц Iceberg.
- Протокол Iceberg REST (также называемый Iceberg REST API) — Определяет стандартные конечные точки для взаимодействия с каталогами, совместимыми с Iceberg.
В теории стандарт Iceberg позволяет одному движку запросов читать данные из таблиц Iceberg или записывать данные в них во внешнем каталоге, управляемом другим движком или платформой. На практике различные каталоги Iceberg работают по-разному, а разные движки запросов поддерживают спецификацию Iceberg в разной степени.
По мере возможности dbt старается скрыть сложность форматов таблиц и различия между реализациями Iceberg у разных поставщиков, чтобы команды могли сосредоточиться на предоставлении надёжных данных с продуманной моделью. Чтобы узнать больше, выберите одну из следующих карточек:
