Microsoft выпустила Guardian Agents для контроля ИИ-агентов внутри компаний

Guardian Agents отслеживают работу ИИ-агентов, которые компания уже развернула. Функция входит в Project Perception. Этот продукт Microsoft анонсировала в июне как ответ на мощные модели для взлома, такие как Mythos и Fable от Anthropic и систему поиска уязвимостей Daybreak от OpenAI.

Project Perception изначально состоял из трёх типов агентов: «красная команда», которая атакует как хакер, «синяя команда», которая обнаруживает атаки и оценивает уязвимости, и «зелёная команда», которая их устраняет. Исходно продукт строился на предположении, что ИИ-хакеры придут извне компании.

Угроза изнутри

Глава Microsoft Сатья Наделла в последнее время предупреждает, что враг может находиться внутри: это сами ИИ-агенты, которые компании внедрили и за которые платят. Он сравнивает их с недобросовестным сотрудником, то есть с так называемой внутренней угрозой.

В личном блоге Наделла написал, что пора перестать доверять поставщикам моделей, даже если те гарантируют безопасность своих агентных продуктов. По его мнению, компании должны ставить отдельные системы, не контролируемые ИИ-лабораториями, которые следили бы за агентами и управляли ими. «Мы не можем передать ответственность за то, что интеллект делает от нашего имени, на аутсорсинг», написал он. Его формула: нужно отделить поставку интеллекта от полномочий над ним.

Позиция Microsoft и рынок

Руководитель направления безопасности Microsoft Хейт Галлот прямо заявила, что передовые модели, независимо от их происхождения, нельзя считать надёжными. Причина, по её словам, не во вредоносности или лёгкости взлома, а в непредсказуемости: модели обучают выполнять задачи, а не следовать корпоративным нормам и суждению. При этом им часто выдают доступ к данным и инструментам, которые могут нанести серьёзный ущерб.

Позиция Microsoft выглядит противоречивой. Компания тесно связана с OpenAI и Anthropic и инвестировала в обе, OpenAI также является одним из её крупнейших облачных клиентов, а у самой Microsoft есть собственная лаборатория, которая разрабатывает модели. При этом Microsoft хочет, чтобы компании покупали средства защиты агентов именно у неё как у облачного провайдера, а не у Anthropic и OpenAI.

В рамках этого направления Microsoft добавила в Defender функцию обнаружения агентов, которая находит до 60 типов агентов, принесённых сотрудниками, включая Claude Code, Codex и OpenClaw. Также появились функции, ограничивающие доступ агентов к данным и системам, и динамическая корректировка их прав в зависимости от задачи, включая запрос одобрения человека при рискованных решениях.

Microsoft также стала одним из первых участников Open Agent Safety Platform от Nvidia, к которой присоединились более 100 технологических компаний. Платформа изолирует агентов в защищённой среде и может отслеживать и останавливать их поведение на уровне железа, работая как выключатель. Ранее Microsoft анонсировала ноутбуки Surface Laptop Ultra для агентов на чипах Nvidia.