OpenAI работает над моделью рассуждающего ИИ

Цель проекта - предоставить моделям ИИ возможность не только отвечать на запросы, но и планировать свои действия заранее, что позволит им проводить "глубокие исследования". Это задача, которую до сих пор не могли решить существующие модели ИИ. Детали того, как именно работает "Strawberry", держатся в секрете даже внутри OpenAI.

Проект "Strawberry", ранее известный как Q*, был представлен компанией OpenAI как прорыв внутри компании, согласно сообщениям Reuters в прошлом году. Двое источников заявили, что они видели демонстрации Q* в начале этого года, которые, по их словам, способны отвечать на сложные научные и математические вопросы, недоступные современным коммерческим моделям ИИ. Один из источников также сообщил, что OpenAI тестировала ИИ, который набрал более 90% на наборе данных MATH, содержащем задачи чемпионатов по математике. Reuters не удалось установить, является ли это проектом "Strawberry".

На внутренней встрече 9 июля OpenAI представила исследовательский проект, который, по ее утверждению, обладает новыми навыками рассуждений, похожими на человеческие, согласно данным Bloomberg. Представитель OpenAI подтвердил проведение встречи, но отказался предоставить детали содержимого. Reuters не удалось определить, демонстрировался ли проект "Strawberry".

OpenAI надеется, что инновация значительно улучшит возможности рассуждений ее моделей ИИ, сообщил источник, добавив, что "Strawberry" включает специализированный способ обработки модели ИИ после ее предобучения на очень больших наборах данных.

Эксперты в области искусственного интеллекта, опрошенные Reuters, считают, что способность к рассуждениям является ключевым фактором для достижения ИИ уровня человеческого или сверхчеловеческого интеллекта.

Большие языковые модели уже могут быстро и эффективно резюмировать сложные тексты и создавать прозу, однако они часто испытывают трудности с решением задач, которые кажутся интуитивно понятными для людей, таких как распознавание логических ошибок и игра в крестики-нолики. При столкновении с такими задачами модели часто создают ложную информацию.

Эксперты в области ИИ, опрошенные Reuters, в целом согласны с тем, что рассуждение в контексте ИИ включает создание модели, которая позволяет ИИ планировать свои действия, понимать функционирование физического мира и надежно решать сложные многошаговые задачи.

Улучшение способности к рассуждению в моделях ИИ рассматривается как ключ к тому, чтобы модели могли выполнять широкий спектр задач, начиная от крупных научных открытий и заканчивая планированием и созданием новых программных приложений.

Генеральный директор OpenAI Сэм Альтман ранее в этом году заявил, что в области ИИ "самыми важными областями прогресса будут способности к рассуждению".

Другие компании, такие как Google, Meta и Microsoft, также экспериментируют с различными методами улучшения способностей к рассуждению в моделях ИИ, как и большинство академических лабораторий, занимающихся исследованиями ИИ. Однако исследователи расходятся во мнениях относительно того, способны ли большие языковые модели (LLM) включать идеи и долгосрочное планирование в свои прогнозы. Например, один из пионеров современной ИИ, Янн Лекун, работающий в Meta, часто говорил, что LLM не способны к человеческому уровню рассуждений.

Проект "Strawberry" является ключевым элементом плана OpenAI по преодолению текущих вызовов в области искусственного интеллекта, сообщил источник. Внутренний документ, просмотренный Reuters, описывает цели "Strawberry", но не объясняет, как они будут достигнуты.

В последние месяцы компания сигнализировала разработчикам и другим внешним сторонам о том, что находится на пороге выпуска технологии со значительно более продвинутыми способностями к рассуждению.

"Strawberry" включает специализированный способ так называемого "пост-тренинга" генеративных моделей ИИ OpenAI, или адаптации базовых моделей для улучшения их производительности специфическим образом после их "обучения" на огромных объемах обобщенных данных, сообщил один из источников.

Этап пост-тренинга разработки модели включает методы, такие как "тонкая настройка", процесс, используемый для почти всех языковых моделей сегодня, который имеет множество вариаций, таких как предоставление модели обратной связи от людей на основе ее ответов и предоставление примеров хороших и плохих ответов.

"Strawberry" имеет сходство с методом, разработанным в Стэнфорде в 2022 году, называемым "Самообучающийся Разум" или "STaR", сообщил один из осведомленных источников. Метод "STaR" позволяет моделям ИИ "самостоятельно улучшаться" до более высоких уровней интеллекта через итеративное создание собственных обучающих данных и, теоретически, может быть использован для достижения языковыми моделями уровня интеллекта, превышающего человеческий, как заявил один из его создателей, профессор Стэнфорда Ноа Гудман.

"Я думаю, что это одновременно и захватывающе, и пугающе. Если все будет продолжаться в этом направлении, у нас как у людей есть серьезные вопросы для размышлений", - сказал Гудман. Стоит отметить, что Гудман не связан с OpenAI и не знаком с "Strawberry".

Среди возможностей, к которым стремится OpenAI в рамках проекта "Strawberry", - выполнение задач с длинным горизонтом (LHT), говорится в документе, относящихся к сложным задачам, требующим от модели планировать вперед и выполнять серию действий в течение длительного периода времени, объяснил первый источник.

Для этого OpenAI создает, обучает и оценивает модели на том, что компания называет набором данных для "глубоких исследований", согласно внутренней документации. Reuters не удалось установить, что входит в этот набор данных или как долго может продолжаться длительный период.

OpenAI хочет, чтобы ее модели использовали эти возможности для проведения исследований путем автономного серфинга в Интернете с помощью "CUA", или компьютерного агента, который может предпринимать действия на основе результатов поиска.