Сложные обвязки для ИИ-агентов программирования дорожают, но не повышают качество
Контролируемое исследование показало, что переключение между обвязками (harness) для кодовых ИИ-агентов, таких как Claude Code, OpenCode или mini-SWE-agent, почти не меняет долю успешно решённых задач. При этом стоимость одной задачи может вырасти в три раза.
Главное в цифрах
- Рост стоимости одной задачи: до трёх раз
- Разброс качества при смене обвязки сопоставим с повторным запуском той же конфигурации
Разброс результатов при смене обвязки оказался сопоставим с разбросом при простом повторном запуске одной и той же конфигурации. Иными словами, различия в качестве, которые могли бы казаться значимыми, в основном укладываются в обычную случайность.
Главная статья расходов, по данным исследования, связана с системным промптом. Он отправляется модели на каждом шаге работы агента, поэтому чем он объёмнее и сложнее, тем дороже обходится каждая задача.
Что это значит для разработчиков
Для команд, которые строят агентов на коммерческих API, вывод практический: при выборе архитектуры нужно считать расходы на каждый шаг, а не только оценивать качество. Сложная обвязка может увеличить счёт без заметного прироста результата.
Источник: The Decoder.
