Sakana AI представила метод MASS: модель учится на собственных ошибках и не видит слепых зон
Sakana AI представила метод MASS, при котором одна языковая модель последовательно улучшает себя: решает задачи, оценивает результаты и дорабатывает рабочие процессы. После двух раундов самообучения она выигрывает у исходной версии почти в 70% сравнений.
Главное в цифрах
- Доля побед над исходной моделью после двух раундов: почти 70%
Суть метода в том, что одна и та же модель выполняет три роли. Как решатель она отвечает на задачи, как судья оценивает результаты, как архитектор дорабатывает рабочие процессы, по которым работает. Улучшения накапливаются от раунда к раунду, и итоговая версия сравнивается с исходной моделью.
По данным источника, после двух раундов доля побед над базовой моделью приближается к 70%.
Слепая зона
Главное ограничение касается ошибок, которые модель не замечает. Если она допускает одну и ту же ошибку во всех трёх ролях, то может принять её за прогресс и закрепить в процессе обучения. Самооценка в этом случае не выявляет проблему, а усиливает её.
Для разработчиков вывод простой: самооценка модели без внешнего контроля не гарантирует качества.
