Путешествие через Foundry: Становление аналитическим инженером в dbt Labs

Данные — это индустрия обходных путей. Большинство людей в этой области случайно попадают в нее, осматриваются, и если им нравится то, что они видят, они строят здесь карьеру. Это особенно верно в области аналитического инжиниринга. Каждый аналитический инженер, с которым я разговаривала, представлял себя занимающимся чем-то другим, прежде чем случайно найти эту работу. Это поднимает вопрос: как можно стать аналитическим инженером намеренно? Это вопрос, на который стремится ответить Программа Foundry от dbt Labs.

О программе Foundry

Программа Foundry — это стажировка, предназначенная для превращения новичков в данных в полноценных аналитических инженеров за шесть месяцев. Как одна из первых стажеров программы, я здесь, чтобы поделиться своим путешествием в аналитическом инжиниринге и выводами, которые я сделала на этом пути.

Мы продолжаем улучшать программу с каждой итерацией, но учебный план для моей группы был разделен на две части — три месяца обучения, за которыми следовали три месяца практической работы.

С чего я начала

Прежде чем погрузиться в опыт программы Foundry, я хотела бы рассказать немного о своем прошлом до dbt Labs. На моей предыдущей работе я выполняла очень простую работу с данными в Excel. До dbt я также прошла буткемп по науке о данных. Впервые я услышала об аналитическом инжиниринге, когда увидела пост о программе Foundry в Slack-канале Code for Philadelphia. Даже будучи человеком, который не понимал, что такое аналитический инжиниринг, я была поражена сильными взглядами dbt Labs на аналитику и данные: было видение будущего, основанное на уроках прошлого (т.е. размышления о истории программной инженерии). Было желание оптимизировать работу с данными, прозрачность в плане достижения этой цели, и где еще лучше начать, чем в компании, стремящейся делать аналитику наилучшим образом?

Путешествие через Foundry

Вхождение в процесс

Мои первые пару недель в dbt Labs были вихрем информации и открытий. На второй неделе я начала понимать, что на самом деле означает аналитический инжиниринг: организация данных. В этом было много привлекательного; было обещание как технического, так и творческого (код и решение проблем). Как человек, который любит организовывать, аналитический инжиниринг был естественным выбором. Это приносило дзен КонМари.

Изначально я сосредоточила свой поиск работы на аналитике данных, но для меня аналитический инжиниринг оказался гораздо более подходящим. Это было похоже не на поиск момента озарения, а на создание библиотеки, которой я могу гордиться.

По мере того как росло мое понимание «что» и «почему» аналитического инжиниринга, я начала изучать «как». SQL, Jinja, лучшие практики и все тонкости работы в проекте dbt. Лучшей частью было применение моих знаний на практике. Я помню, как проходила через свой переработанный код из упражнения с Дэйвом Коннорсом, моим наставником в программе Foundry (привет Дэйву! Он оказал огромную помощь во время моей стажировки). Проходя через мое моделирование и различные способы, которыми аналитический инженер мог бы переработать код, я увидела творческое решение проблем, которое требует эта работа. Часто в коде есть очевидно лучший путь. Но иногда его нет. Игра с этими компромиссами заставила меня почувствовать себя ребенком в кондитерской.

На этом пути я смогла воспользоваться отличными ресурсами. Моя стажировка была в нашей команде профессиональных услуг, которая преуспела не только в работе с dbt, но и в передаче понимания dbt и аналитического инжиниринга нашим клиентам. Внутри нашей команды, а также в более широком сообществе dbt, существовала культура обмена мнениями, решениями и роста как пространства. У нас есть руководства по аналитическому инжинирингу, статьи об экосистеме MDS и ряд авторов, делящихся своими последними взглядами на эту область. Это бесценные ресурсы для начинающих аналитических инженеров.

Конечно, я не могу говорить о сообществе, не упомянув Coalesce. Мой первый Coalesce пришелся на конец учебной части моей стажировки, прямо перед тем, как я погрузилась в реальную практическую консультационную работу. Было удивительно видеть так много людей, увлеченных и заинтересованных в аналитическом инжиниринге. Доклады варьировались от технических проблем, требующих практического подхода, до размышлений о более широкой индустрии. Coalesce 2021 подтвердил для меня, что настоящая магия этой области заключалась не в dbt, а в сообществе, которое вокруг него сформировалось.

На практике

А затем настало время для реальной работы. Я была назначена на проекты с более опытными членами команды. Необходимость доказать свою состоятельность привела к некоторому синдрому самозванца. Была ли я готова? Достаточно ли я узнала и способна ли применить знания, когда это действительно потребуется? Как это часто бывает, когда вы переходите от академического применения к практическому, я обнаружила, что есть вызовы, которые я не предвидела.

Первый проект, над которым я работала, был обзором решений в проекте клиента, где мы оцениваем проект и предлагаем, где его можно улучшить, а также подчеркиваем его сильные стороны. Я была вооружена лучшими практиками dbt Labs, но когда я впервые открыла DAG из более чем 200 моделей, я была ошеломлена и не знала, с чего начать. Именно тогда я узнала, что сбор контекста (например, изучение DAG и проекта перед началом работы) является очень важной частью работы! В долгосрочной перспективе, мой вклад в эти начальные взаимодействия с клиентами стал первым шагом в укреплении моей уверенности.

После Foundry

После завершения программы Foundry мне предложили постоянную должность в команде профессиональных услуг! Я продолжаю извлекать пользу из петли знаний, но теперь я также могу вносить в нее свой вклад. Я работала над большим количеством проектов dbt. Я внесла вклад в пакеты. Я перешла от восторженного участника Coalesce к восторженному участнику Coalesce и со-ведущей мастер-классов на Coalesce. Спустя более года я могу с уверенностью сказать, что программа Foundry привела меня туда, где я хотела быть.

Если вы ищете ресурсы, чтобы помочь начинающему аналитическому инженеру (будь то вы сами или ваш подчиненный), не стесняйтесь связаться со мной в Slack-сообществе (@Wasila)!