Harvard: ИИ-ассистенты ускоряют код, но не выпуск ПО из-за узкого места в ревью
Исследование Гарвардского университета показало, что ИИ-ассистенты для программистов заметно ускоряют написание кода, но не увеличивают выпуск программного обеспечения. Выигрыш на этапе написания поглощается проверкой кода.
Главное в цифрах
- Объём данных: 300 млн рабочих событий
- Охват: более 700 тыс. сотрудников в свыше 700 фирмах
- Период исследования: с 2021 года по март 2026 года
Авторы исследования Фиона Чен и Джеймс Страттон изучили данные о реальной разработке в сотнях компаний. По их выводам, проверка кода людьми становится главным «узким местом» для эффективности ИИ-инструментов программирования. В работе найдено мало доказательств того, что фирмы благодаря этим инструментам увеличивают выпуск ПО или сокращают занятость.
Прирост, полученный на этапе написания кода, по словам авторов, «поглощается ограничениями на последующих этапах производственного процесса». Процесс ревью заметно удлиняется, запросы на доработку становятся частыми, а комментариев от рецензентов становится больше.
Данные и методика
Для анализа исследователи использовали агрегированные данные аналитической платформы Jellyfish, которая измеряет выпуск инженерных команд. В выборку вошли 300 млн рабочих событий, включая коммиты и pull requests, и данные систем управления задачами по более чем 700 тыс. сотрудников в свыше 700 фирмах-разработчиках ПО. Период охватывает 2021 год по март 2026 года.
Что это значит для компаний
По выводам авторов, инвестиции в генерацию кода сами по себе не дадут прироста продуктивности, пока не изменится процесс проверки кода.
