Создаём более качественный бенчмарк для агентов по работе с данными
Это вопрос на триллионы долларов, который не даёт покоя всем: от старших разработчиков ПО и начинающих юристов до голливудских сценаристов и, конечно же, аналитиков и инженеров данных. Могут ли роботы выполнять нашу работу?
Для нас, специалистов по данным самых разных направлений, сигналы неоднозначны. Согласно недавнему исследованию Anthropic, специалисты по анализу данных уже используют ИИ, чтобы помогать себе выполнять или автоматизировать 46 процентов своей работы. За два года большие языковые модели (LLM) научились хорошо писать код; теперь они ещё и очень хорошо пишут SQL.1
Но, как знает любой специалист по данным, наша работа — не в написании запросов; по крайней мере, не совсем в этом. К лучшему или к худшему (и, возможно, к лучшему, если великий переворот в написании кода уже наступил), наша работа, как выразилась Кейтлин Мурман более шести лет назад, — это связующая работа. Мы сопоставляем данные одной команды с целями другой; связываем вопросы, возникающие здесь, с тенденциями, наблюдаемыми там. Мы разбираемся с неоднозначностью; говорим: «Всё зависит от обстоятельств». Мы говорим людям «нет».