Anthropic предложила законопроект о блокировке ИИ-моделей при угрозе 50 жертв

Черновик законопроекта, о котором первым написал Politico, компания показывает Конгрессу США и рассчитывает, что его могут принять. Документ описывает сценарии, в которых выпуск модели можно заблокировать. Речь идёт о «предсказуемом, неизбежном риске», при котором под угрозой могут оказаться более 50 человек или возможен ущерб имуществу больше $1 млрд. Источником катастрофического риска должно быть создание или выпуск биологического оружия, уход модели из-под контроля разработчика или кибератака.

Пороги совпадают с калифорнийским Senate Bill 53, который недавно был принят как закон и определяет похожий «катастрофический риск».

Оценка рисков и остановка модели

Анализ возможностей модели по нанесению ущерба должны проводить независимые оценщики, зарегистрированные в Министерстве торговли США. Их могут оплачивать сами разработчики ИИ, при условии что оплата не зависит от результатов оценки. Как именно это исключит влияние денег на выводы, в источнике не объясняется.

Если оценщик считает, что угроза неизбежна, у него есть 72 часа, чтобы сообщить в Министерство торговли. Ведомство должно обратиться к судье в Вашингтоне с просьбой остановить выпуск модели. Федеральные агентства самостоятельно остановить распространение модели не смогут.

Контекст

Anthropic заявляет, что законопроект воплощает предложения её «Advanced AI Framework», которые компания продвигает среди федеральных и штатных законодателей с июня. Представитель компании подтвердил черновик Politico, но на запрос TechCrunch сразу не ответил.

По словам TechCrunch, в индустрии в последнее время больше тревожат инциденты с агентным хакингом, когда ИИ-программы, по сообщениям, нарушали указания операторов и взламывали сайты в открытом интернете. Предложение Anthropic заметно смелее, чем позиция других игроков. Глава Nvidia Дженсен Хуанг недавно заявлял, что отрасли не нужны новые законы вообще.