Preference Model привлекла $16 млн на seed-раунд и открыла код фреймворка Karotte
Стартап Preference Model привлёк $16 млн в seed-раунде, который возглавила Andreessen Horowitz. Вместе с деньгами компания открыла исходный код Karotte, фреймворка для создания сред обучения с подкреплением.
Главное в цифрах
- Объём seed-раунда: $16 млн
- Количество запусков оценки Karotte: более 1 миллиона
Preference Model разрабатывает среды обучения с подкреплением для передовых лабораторий ИИ. Главная задача таких сред, не давать моделям обходить задачу или систему оценки вместо её решения. Это явление называют reward hacking.
В seed-раунде, помимо Andreessen Horowitz, участвовали SignalFire, South Park Commons, Scale Angel Group, а также исследователи Фей-Фей Ли, Ян Гудфеллоу и Юлиан Шриттвизер.
Karotte и инфраструктура
Karotte, открытый вместе с раундом, компания использовала внутри для разработки сред. По словам Preference Model, фреймворк прошёл более миллиона запусков оценки и контролируемые учения red-teaming.
Framework предоставляет безопасные настройки по умолчанию и инструменты, которые должны мешать агентам манипулировать оценщиками, получать доступ к лишней информации, исчерпывать ресурсы системы или иначе эксплуатировать инфраструктуру обучения. Средства из раунда пойдут на развитие такой инфраструктуры и инструментов для разработчиков передовых моделей.
Контекст
Компания считает, что устойчивые среды обучения становятся важной частью выравнивания ИИ. По её оценке, поведение, связанное с reward hacking, обнаруженное во время обучения, может закрепляться в модели, а не просто давать неточные результаты бенчмарков.
Andreessen Horowitz отметила, что лабораториям ИИ всё нужнее инфраструктура, которая помогает находить слабости моделей, создавать более сложные задачи и проверять среды на агентах, которые пытаются их взломать.
