Миграция от хранимых процедур к dbt
Хранимые процедуры широко используются в мире хранилищ данных. Они отлично подходят для инкапсуляции сложных преобразований в единицы, которые можно планировать и которые могут реагировать на условную логику через параметры. Однако, по мере того как команды продолжают строить свою логику преобразования, используя подход с хранимыми процедурами, мы наблюдаем больше простоев данных, увеличение затрат на хранилище данных и некорректные/недоступные данные в производстве. Все это приводит к большему стрессу и неудовлетворенности разработчиков, а также к потребителям, которым трудно доверять своим данным.
Если ваша команда активно работает с хранимыми процедурами, и вы когда-либо сталкивались со следующими или похожими проблемами:
- дашборды не обновляются вовремя
- Изменение кода конвейера на основе запросов от ваших потребителей данных кажется слишком медленным и рискованным
- Трудно отследить происхождение данных в вашем производственном отчете
Стоит рассмотреть, может ли альтернативный подход с dbt помочь.