Поддержка Apache Iceberg
Apache Iceberg — это открытый стандарт табличного формата, который обеспечивает большую портируемость и совместимость в экосистеме данных. За счёт стандартизации способов хранения и доступа к данным Iceberg позволяет командам уверенно работать с разными движками и платформами. Iceberg состоит из нескольких компонентов, но основные из них, с которыми взаимодействует dbt, следующие:
- Iceberg Table Format — формат таблиц с открытым исходным кодом. Таблицы, материализованные в формате Iceberg, хранятся в инфраструктуре пользователя, например в S3 Bucket.
- Iceberg Data Catalog — система управления метаданными с открытым исходным кодом, которая отслеживает схемы, партиции и версии таблиц Iceberg.
- Iceberg REST Protocol (также называемый Iceberg REST API) — протокол, с помощью которого вычислительные движки могут поддерживать и взаимодействовать с другими каталогами, совместимыми с Iceberg.
dbt абстрагирует сложность табличных форматов, чтобы команды могли сосредоточиться на создании надёжных и хорошо смоделированных данных. Первоначальная интеграция dbt с Iceberg поддерживает материализации таблиц и интеграции с каталогами, позволяя пользователям определять и управлять таблицами Iceberg напрямую в своих проектах dbt. Чтобы узнать больше, выберите один из следующих разделов:
