Уволенные сотрудники OpenAI предупредили об угрозе «нечитаемого» ИИ

Уволенные сотрудники OpenAI предупредили об угрозе «нечитаемого» ИИ
Фото: Magnific.com
В OpenAI могут создать искусственный интеллект, который научится скрывать опасные действия даже от собственных разработчиков. Об этом предупредили трое уволенных сотрудников компании. Они опасаются, что специалисты потеряют возможность замечать обман со стороны нейросетей и не смогут вовремя остановить их.

Уволенные Жасмин Ванг (Jasmine Wang), Томек Корбак (Tomek Korbak), Микита Балесни (Mikita Balesni) направили специальное письмо совету директоров и комитетам по безопасности.

Они потребовали от топ-менеджмента компании сохранить возможность самым тщательным образом отслеживать рассуждения искусственного интеллекта и привлекать для их проверки нанятых внешних аудиторов.

По словам теперь уже бывших сотрудников OpenAI, разработка и последующее внедрение ИИ-моделей, поведение которых чрезвычайно сложно контролировать, создает масштабные риски, грозящие разрушением инфраструктуры и многомиллиардным убыткам.

Для их предотвращения специалисты предлагают вести внимательное наблюдение за промежуточными рассуждениями ИИ-моделей, чтобы вовремя выявить признаки обманных действий, а также от ранее утвержденных задач. Их опасение: со временем разработчикам будет гораздо труднее понимать, почему ИИ принимает решения.

В свою очередь, представители OpenAI сообщили, что увольнение сотрудников было связано с тем, что они нарушили установленные корпоративные правила обращения с приватными данными, а вовсе не с их критическими высказываниями относительно безопасности ИИ.

В тоже время руководство OpenAI выразило согласие с их рекомендациями, относительно мониторинга действий искусственного интеллекта.

 

Автор: Анатолий Хаблюк.

Тематики: ПО

Ключевые слова: Искусственный интеллект, Нейросети, Машинное обучение (ML)