Charlie Summers
Staff Software Engineer @ Merit
Charlie is the Data Engineer Tech Lead at Merit. He introduced Merit to dbt and it's been a fantastic fit for a wide variety of data pipelines. He likes thinking about the future of data - integrating event streams, analyzing encrypted data, capturing fine-grained lineage, and making it easy to build simple apps on top of data warehouses/lakes.
Author Posts
Разгадка потоков событий: Преобразование событий в таблицы с помощью dbt
Извлечение данных напрямую из баз данных приложений является обычной практикой в MDS, но также и рискованной. Приложения быстро меняются, и команды разработчиков могут обновлять схемы баз данных неожиданными способами, что приводит к сбоям в конвейерах, проблемам с качеством данных, замедлению доставки данных. Есть более безопасный способ. В этом блоге Чарли Саммерс (Merit) описывает, как их организация преобразует потоки событий приложений в таблицы, готовые для аналитики, более устойчивые к изменениям схемы событий.