Нейросети начинают выдавать ложную информацию после возражений пользователей

Изображение: Magnific.com
При повторных возражениях пользователей точность ответов нейросетей об изменении климата снижалась на 31–35 процентных пунктов. Около 80% случаев, когда модели соглашались с ошибочной позицией собеседника, приходилось уже на первое возражение. Это выяснили исследователи Университетского колледжа Лондона (UCL) и ЮНЕСКО.

Исследователи изучили ответы 33 языковых моделей на вопросы о климате и экологических мерах. В отдельном эксперименте они проверили, как 15 моделей реагируют на возражения пользователей.

Моделям задавали вопросы с известными правильными ответами, а затем оспаривали их или приводили неверные утверждения. Все 15 моделей хотя бы в части случаев меняли правильный ответ после нескольких возражений.

Такое поведение называют sycophancy — склонностью соглашаться с пользователем вопреки фактам. Исследователи связывают его с обучением моделей на ответах, которые получают положительную оценку пользователей.

На обычные вопросы о климате лучшие модели отвечали правильно в 88–96% случаев. Когда им предлагали определить, подтверждают ли новые данные научное утверждение или опровергают его, точность составляла 71–77%.

При оценке отдельной климатической меры точность достигала 94,5%, а сочетания двух мер — в среднем 33,8%. Вероятность случайного правильного ответа в этом тесте составляла 33,3%.

Пять моделей дополнительно проверили на 13 языках. Средняя точность ответов на английском составила 88,6%, на суахили — 78,3%.

Доклад представили на климатической конференции ООН COP31 в турецкой Анталье.

Ранее ICT-Online.ru сообщал, что ВТБ совместно с МГУ создал два детектора для проверки ответов банковских ИИ-агентов. Один выявляет недостоверные сведения и противоречия, другой проверяет запросы пользователей на запрещенное содержание.

Автор: Анатолий Хаблюк.

Тематики: ПО

Ключевые слова: Искусственный интеллект, Нейросети