Anna Lee

Дневники баз данных, связанных с каталогом: об актуальности данных и записи​

В ноябре прошлого года на dbt Summit Джереми представил возможности dbt для работы с Iceberg на нескольких платформах.

Больше всего нас заинтересовала обещанная возможность взаимодействия между Databricks Unity Catalog и базами данных Snowflake, связанными с каталогом.

Все увлечены ИИ, но параллельно назревает ещё одна небольшая революция: команды выводят хранение данных за пределы платформ конкретных поставщиков. Уже несколько месяцев мы общаемся с пользователями, которые с энтузиазмом внедряют Iceberg как одну из основ своей архитектуры данных. Формат таблиц Iceberg и REST-каталоги Iceberg становятся стандартами, обеспечивающими такую гибкость.

В контексте dbt это проявляется в двух конкретных сценариях:

• Масштабные проекты dbt: команды совместно используют одну логическую базу данных со множеством схем и сотнями или тысячами таблиц
• Межплатформенная сетка данных: один проект в Snowflake, другой — в Databricks, с совместным использованием данных без необходимости вручную обновлять их или управлять указателями на метаданные