Китайская нейросеть неожиданно научилась строить цепочки взлома

Изображение: Magnific.com
Китайская компания Z.ai решила пока не публиковать веса GLM-5.3 — набор параметров, с помощью которого нейросеть можно запускать на собственном оборудовании. Испытания выявили у модели более широкие возможности поиска и эксплуатации уязвимостей, чем ожидали разработчики: она смогла объединять отдельные ошибки в многоэтапные сценарии атак.

Как сообщает Wired, при дополнительном обучении использовались данные об уязвимостях и контролируемые среды для проверки защищенности программ. Разработчики хотели улучшить поиск отдельных ошибок. Однако GLM-5.3 также смогла связывать их причины с возможными последствиями и определять последовательность действий для проведения атаки.

Отдельная уязвимость и готовая цепочка атаки — разные уровни угрозы. В первом случае разработчик понимает, где необходимо установить исправление. Во втором становится ясно, как злоумышленник может проникнуть в систему, повысить свои привилегии, запустить вредоносный код или похитить данные.

По данным Z.ai, в тесте CyberGym нейросеть GLM-5.3 выполнила 84,5% заданий. Предыдущая версия GLM-5.2 получила 77,2%, а закрытая модель Mythos 5 — 83,8%. В более сложном испытании ExploitBench китайская система набрала 54,4% против 24,4% у предшественницы, но уступила Mythos 5 с результатом 78%.

Z.ai также сообщает, что модели семейства GLM обнаружили 2436 потенциальных уязвимостей в 269 проектах. Из них 1097 получили средний или высокий уровень опасности. Проблемы нашли в операционных системах, браузерах, сетевых компонентах и веб-приложениях. Некоторые ошибки оставались незамеченными в течение нескольких десятилетий.

Сейчас Z.ai предоставляет доступ к GLM-5.3 ограниченному кругу партнеров, а наиболее чувствительные функции — только проверенным пользователям. Разработчик планирует проверить защитные механизмы, доработать фильтры опасных запросов и усилить контроль активности.

После размещения параметров в открытом доступе Z.ai не сможет полностью контролировать использование нейросети. Ее можно будет запускать локально, модифицировать и подключать к инструментам автоматического сканирования. 

Такие возможности ускорят поиск и устранение уязвимостей, но одновременно упростят проведение атак людям без глубоких технических знаний. Reuters отмечает, что результаты опубликовала сама Z.ai, а независимые специалисты их пока не проверили.

Автор: Анатолий Хаблюк.

Тематики: Безопасность

Ключевые слова: информационная безопасность, Искусственный интеллект