Время vs Усилия - настоящая польза языковых моделей для программиста
Недавнее исследование METR показало: разработка с LLM не ускоряет работу, а наоборот, замедляет! В среднем, на 19%. При этом сами разработчики уверены, что LLM их ускоряет на 20%. Неожиданный поворот, да?
Как так вышло, если все утверждают, что с ИИ стали дико эффективными? Может, в исследовании стояли неверные задачи? Или подобрали не слишком прошаренных в вайб-кодинге разрабов?
Конечно, к любой статистике нужно относиться с долей скепсиса. Но дело тут, как мне кажется, не в «неправильных» разработчиках или задачах. Да, я согласен с результатами. Исследование просто подсветило две неочевидные проблемы, о которых не говорят в хайповых статьях: транзакционные издержки и потеря «состояния потока».
Особенно остро они проявляются у опытных спецов, которые досконально знают свой проект — а в исследовании были именно такие.
-
Транзакционные издержки — это прямая цена взаимодействия с LLM. Знакома ситуация, когда ты полчаса объясняешь стажеру задачу, которую сам бы сделал за пять минут? Тут то же самое. Пока опишешь модели все нюансы, проверишь и исправишь сгенерированный код, окажется, что быстрее и проще было написать все самому.
-
Разрушение «потока» — это потеря сосредоточенности на задаче. Постоянные переключения — «пишем промпт» — «ждем» — «анализируем результат» — «дорабатываем код» — не позволяют сфокусироваться так, как если бы стояла одна задача — «пишем код». В результате легко потерять важные детали, допустить ошибки, с которыми придется разбираться позже, повторно погружаясь в процесс.
Получается, весь хайп с LLM — просто маркетинг? Не совсем.
В случае с LLM измерять эффективность нужно не сокращением времени разработки, а экономией усилий разработчика. Именно в этом главный выигрыш от использования ИИ: в снижении когнитивной нагрузки. Работать в режиме «редактора и наставника» легче, чем делать все самому. А освободившийся ресурс можно направить на что-то еще.
Если говорить о моем опыте — я обычно не делаю задачи в Cursor быстрее, чем сделал бы руками. Но у меня получается параллельно с работой над основной задачей участвовать в созвонах, разбирать другие вопросы… То есть спринт на одной задаче я не выигрываю, но на марафоне рабочего дня пробегаю дальше.
Справедливости ради замечу: есть задачи, на которых LLM действительно дает чистое ускорение. Например, работа с незнакомым кодом, прототипирование, документация. Но об этом в другой раз.
Что думаете? Согласуется с вашим опытом?
👍 — Да, с LLM не быстрее, но легче.
🔥 — Нет, я всегда ускоряюсь, вы просто не умеете готовить ИИ!
🤔 — Пока не понял, в чем профит.