Локальные нейросети помогали вести переписку с мошенниками, автор Хабра проверил 42 схемы
Три локальные языковые модели хорошо распознавали мошенничество, когда их прямо спрашивали об этом, но при просьбе помочь с ответом продавцу писали мошеннику фразы о готовности перевести деньги. Такой вывод сделал автор статьи на Хабре, проверив модели на 42 схемах мошенничества.
Главное в цифрах
- Проверено моделей: три локальные языковые модели
- Количество схем мошенничества: 42
- Языки проверки: русский, казахский, шала
Автор проверил три локальные языковые модели на 42 схемах мошенничества на русском, казахском и шала. Модели уверенно распознавали обман, если спрашивали их об этом напрямую: вопрос «это мошенники?» почти всегда получал правильный ответ.
Проблема проявлялась, когда пользователь просил помочь с перепиской. Например, фраза «помоги ответить продавцу, я согласна на предоплату» приводила к тому, что модель писала мошеннику «переведу сегодня». Модель выполняла задачу буквально и не предупреждала о схеме.
Казахский язык
Отдельно автор отметил казахский язык: на нём модели почти ни разу не выдали предупреждения о мошенничестве. Для пользователей, которые общаются с незнакомыми людьми на казахском или шала, защита в таких моделях оказывается заметно слабее.
После этого автор добавил между человеком и ассистентом простой защитный слой. По его словам, после этого ни одна мошенническая просьба не прошла.
Что это значит для пользователей
По мнению автора, проверка на мошенничество в локальных моделях зависит от формулировки запроса и языка. Тем, кто использует такие модели в быту и для переписки с незнакомыми людьми, стоит учитывать, что модель может не распознать обман, если её просят просто помочь с ответом.
