Исследование: ИИ не повышает продуктивность программистов, но добавляет ошибок

Исследование компании Uplevel с участием 800 разработчиков показало, что использование ИИ-инструментов для написания кода не помогло повысить их производительность труда, но привело к росту числа ошибок.

Исследование проводилось в течение двух трёхмесячных периодов. Во время первого периода программисты работали с помощью традиционных инструментов, а во втором они переходили на использование ассистента CitHub Copilot.

В итоге число ошибок в коде выросло на 41%. При этом не улучшилась и ситуация с эмоциональным выгоранием специалистов. Они признались, что написанные с помощью ИИ участки кода сложно анализировать на предмет выявления ошибок, поэтому программисту иногда проще самому переписать нужный фрагмент. Также большую часть запросов ассистенты истолковывают неверно.

Мэтт Хоффман, аналитик данных в Uplevel, объяснил, что результаты исследования опровергли все ожидания.

Гендиректор фирмы по разработке программного обеспечения Gehtsoft USA Иван Гехт подтвердил, что код, сгенерированный ИИ, сложен для понимания и отладки, поэтому иногда бывает эффективнее просто переписать его с нуля. Он добавил, что разработка программного обеспечения — это «90% работы мозга — понимание требований, проектирование системы и учёт ограничений», а преобразование всего этого в код — более простая часть работы.

Однако техдиректор облачного провайдера Innovative Solutions Трэвис Рел сообщил, что производительность разработчиков, наоборот, выросла в три раза благодаря таким инструментам, как Claude Dev и Copilot.

Ранее в спонсируемом GitHub исследовании утверждалось, что разработчики пишут код на 55% быстрее с помощью Copilot, а 75% заявили, что чувствуют себя более удовлетворёнными работой при использовании помощника.