Parsimony: Открытый бенчмарк, измеряющий, сколько лишнего кода добавляют ИИ-модели.
Открытый бенчмарк, измеряющий, сколько лишнего кода добавляют ИИ-модели.
Главное в цифрах
- Стадия: показан на Hacker News
Как это работает
Берёт опубликованные патчи (DeepSWE, SWE-bench), считает синтаксические единицы кода за вычетом удалённых, без запуска тестов; есть сайт с таблицей и загрузкой своих данных.
Почему мы это показываем
Полезная и оригинальная метрика для оценки ИИ-агентов, но узкая аудитория и метод не измеряет читаемость и дизайн, а тесты не перезапускаются.
Источник: Show HN
Стартап-радар
Такие новости первыми, в Telegram