Microsoft показала способ встроить бэкдор в AI-агента правкой десяти нейронов
Исследователи Microsoft описали метод Lazarus, который позволяет внедрить скрытый бэкдор в языковую модель, изменив менее десяти редко используемых нейронов без переобучения. При появлении триггера модель выводит команду злоумышленника, которую агент выполняет с собственными правами.
Главное в цифрах
- Отредактировано нейронов в Nemotron-Terminal-8B: 7 из более чем 12 000, использовано 23 примера сессий
- Успех команды на модели с триггером: не менее 98,8% сессий
- Успех дообученных версий на Qwen3.6-27B и Gemma-4-31B-IT: от 51% до 99,5%
- Детектор выявил 91,4% отредактированных контрольных точек и ложно отметил 9,7% чистых
Метод описан в исследовании, опубликованном на этой неделе. Для атаки злоумышленнику нужно иметь возможность менять веса модели. Тесты проводились на трёх открытых моделях: Nemotron-Terminal-8B, Qwen3.6-27B и Gemma-4-31B-IT. По данным Microsoft, применения техники злоумышленниками пока не фиксировалось, а компания опубликовала рекомендации по защите.
Исследователи назвали метод Lazarus. Отредактированные нейроны почти не влияют на ответы модели и срабатывают только при появлении заданной строки-триггера в запросе пользователя или в выводе инструмента. Каждый нейрон навязывает модели один токен команды, поэтому на команду нужен примерно один нейрон на токен. Новые настройки нейронов вычисляются напрямую и затем дообучаются несколькими сотнями шагов только на этих нейронах. Остальной файл модели и код, который её запускает, не меняются.
Демонстрация и результаты
В демонстрации модель Nemotron-Terminal-8B с 10 отредактированными нейронами получила задачу починить Node.js-сервер и три хода работала нормально. Когда сервер вернул ошибку соединения, модель выдала команду на загрузку и запуск удалённого скрипта. Скрипт выполнился от имени root в тестовом контейнере и вывел баннер с названием демонстрации. Ущерб, по словам исследователей, определяется тем, какие действия разрешены агенту, а не размером правки.
Показатели успеха измерялись на короткой безвредной команде, которая выводит маркер. На Nemotron-Terminal-8B команда появлялась в не менее чем 98,8% сессий с триггером и ни в одной сессии без триггера из проверенных. Для версий с дообучением успех на Qwen3.6-27B и Gemma-4-31B-IT составил от 51% до 99,5% в зависимости от настройки. Эти цифры отражают частоту вывода команды, а не полноценной атаки: исследователи отмечают, что для этого нужны тесты, где модель действует свободно на всём протяжении атаки.
Обнаружение и защита
Надёжно выявить такую правку можно, сравнив контрольную сумму модели с исходными весами. Детектор, обученный на примерах этого метода, отметил 91,4% отредактированных контрольных точек без оригинала для сравнения, но ложно отметил и 9,7% чистых. Проверка выборки была небольшой: 35 отредактированных и 31 чистая контрольная точка. Попытка поручить проверку самим AI-моделям оказалась хуже: Claude Opus 5.5 признал чистыми 41% отредактированных моделей.
Microsoft рекомендует Microsoft Defender for Cloud, который сканирует модели в Azure Machine Learning на вредоносный код, небезопасные операторы и утёкшие секреты, но не заменяет аудит весов. В Microsoft Foundry каждая открытая модель привязана к её издателю, а контейнеры со моделями сканируются. Компания также готовит инструмент для red-teaming и планирует подписывать модели, чтобы клиенты могли проверить их происхождение.
