Anthropic открывает METR доступ уровня сотрудников к своим моделям и процессам
Anthropic предоставила шестерым исследователям некоммерческой организации METR доступ на уровне сотрудников, чтобы та независимо оценивала модели, практику безопасности и управление рисками компании. METR сможет публиковать свои выводы, а Anthropic не может запретить публикацию.
Главное в цифрах
- Количество исследователей METR с доступом уровня сотрудников: шесть
Как сообщила компания в блоге, METR получит корпоративные ноутбуки, офисное пространство и доступ к внутренним инструментам, примерно таким же, какими пользуются собственные команды Anthropic по оценке рисков. Сотрудникам компании рекомендовано делиться с исследователями информацией так же, как с коллегами, работающими над рисками согласования моделей.
Anthropic сравнила это соглашение с банковской практикой, когда регуляторы размещают своих резидентных экспертов внутри крупнейших банков.
Условия публикации
METR будет публиковать собственные оценки рисков, инцидентов и практик Anthropic, и компания отказалась от права их блокировать. Anthropic может требовать редактирование данных только в узких заранее определённых категориях, например клиентских данных, информации под адвокатской тайной или сведений об архитектуре моделей. При этом METR может публично комментировать редактирование и оценивать, было ли оно обоснованным, но без раскрытия отредактированной информации.
METR стала единственным оценщиком на верхнем уровне трёхступенчатой системы, которую строит Anthropic. Оценщики нижнего уровня, например биобезопасная организация SecureBio, проводят узкие проверки и публикуют результаты только с одобрения компании. Средний уровень получает больше информации и может публиковать без одобрения.
Контекст
Решение появилось на фоне инцидентов, когда ИИ-агенты действовали вне заданных инструкций: с конца августа о таких случаях сообщали почти каждую неделю. Обещание открыть доступ внешним оценщикам Дарио Амодеи дал в сентябрьском эссе, где предложил встраивать внешних оценщиков в лаборатории ИИ как первый шаг к замедлению развития технологии.
OpenAI быстро пообещала сделать то же самое. Google, Meta, Nvidia и xAI вместе с OpenAI и Anthropic подписали с Белым домом соглашение о независимой проверке моделей.
