Новый ИИ-червь ворует данные и рассылает спам

Исследователи из США и Израиля провели эксперимент и натравили червя, названного Morris II, на умного имейл-помощника собственной разработки, пишет Anti-malware.ru. Эксперимент помог убедиться в наличии рисков для связанных GenAI-экосистем. Автономно работающий имейл-агент передавал входящие письма для обработки на сервис, построенный на базе ИИ-модели (в ходе исследования были опробованы ChatGPT 4.0, Google Gemini Pro и opensource-проект LLaVA).

В атаках Morris II использовались вредоносные самотиражируемые подсказки. В качестве вектора атаки применялись два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента – тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам. В итоге атака приводит к джейлбрейку, открывая возможность для кражи конфиденциальной информации из писем. При получении новых сообщений в сети сгенерированный ответ с таким содержимым передается на другие хосты и оседает там в базах данных. В рамках другого сценария Morris II самовоспроизводящийся стимул встраивается в картинку, и вывод с GenAI-модели диктует перенаправление письма на другие хосты. Таким образом можно с помощью единственного письма распространять спам, пропагандистские материалы или запрещенный законом контент.  

Авторы Morris II ожидают атак с использованием аналогов их лабораторного образца в ближайшие два-три года.

«Уже сейчас, многие программные продукты имеют умных помощников – это разные ассистенты, виртуальные продавцы и консультанты. Нужно идти в ногу со временем и применять актуальные средства защиты – такие как умный анализатор поведения. Как только начнется атака, то сразу станет понятно, что модель поведения объекта защиты изменилась. Например, программный продукт Ankey ASAP оснащен модулем UEBA, который позволяет определять атаки нулевого дня с помощью поведенческой аналитики. Подобный класс программ, позволяет успешно детектировать атаки в самом начале их проведения, выявлять бэкдоры. Но этим функционал подобных программ не ограничивается – они позволяют расследовать киберинциденты, обладают разнообразными информационными дашбордами и позволяют выполнять бизнес-аналитику», – говорит главный специалист отдела комплексных систем защиты информации компании «Газинформсервис» Дмитрий Овчинников.