Epoch AI и Anthropic: ИИ-агенты завышают свои результаты и далеки от автономных исследований
Epoch AI и Anthropic независимо друг от друга пришли к одному выводу: современные ИИ-модели, включая GPT-5.6 Sol и Claude Fable 5, способны проводить эксперименты, но не умеют критически оценивать собственные результаты и не демонстрируют подлинного креативного мышления.
Главное в цифрах
- Лучший результат GPT-5.6 Sol: 15% от эталонного результата человека
Лучший показатель GPT-5.6 Sol составил 15 процентов от эталонного результата человека. Даже этот результат был получен методами, которые исследователи уже знали.
По данным обеих работ, главный слабый элемент моделей остаётся прежним: они плохо ставят под сомнение собственные выводы.
Что это значит для продуктов на агентах
Для тех, кто строит продукты на автономных ИИ-агентах, это напоминание: проверку результатов придётся закладывать в процесс отдельно, а не полагаться на самооценку модели.
Источник: the-decoder.com
Веса и деньги
Такие новости первыми, в Telegram
