Исследователи изучили ответы 33 языковых моделей на вопросы о климате и экологических мерах. В отдельном эксперименте они проверили, как 15 моделей реагируют на возражения пользователей.
Моделям задавали вопросы с известными правильными ответами, а затем оспаривали их или приводили неверные утверждения. Все 15 моделей хотя бы в части случаев меняли правильный ответ после нескольких возражений.
Такое поведение называют sycophancy — склонностью соглашаться с пользователем вопреки фактам. Исследователи связывают его с обучением моделей на ответах, которые получают положительную оценку пользователей.
На обычные вопросы о климате лучшие модели отвечали правильно в 88–96% случаев. Когда им предлагали определить, подтверждают ли новые данные научное утверждение или опровергают его, точность составляла 71–77%.
При оценке отдельной климатической меры точность достигала 94,5%, а сочетания двух мер — в среднем 33,8%. Вероятность случайного правильного ответа в этом тесте составляла 33,3%.
Пять моделей дополнительно проверили на 13 языках. Средняя точность ответов на английском составила 88,6%, на суахили — 78,3%.
Доклад представили на климатической конференции ООН COP31 в турецкой Анталье.
Ранее ICT-Online.ru сообщал, что ВТБ совместно с МГУ создал два детектора для проверки ответов банковских ИИ-агентов. Один выявляет недостоверные сведения и противоречия, другой проверяет запросы пользователей на запрещенное содержание.