Сбои ИИ-агентов предложили расследовать как авиакатастрофы

Сейчас в стране расследованием авиакатастроф занимаются специалисты Air Accidents Investigation Branch (AAIB). Они наряду с другими структурами устанавливают причины аварий и предоставляют рекомендации, чтобы они не повторялись в будущем.

Ученые хотят создать аналогичную систему и для ИИ — разбирать не только уже нанесенный ущерб, но и опасные «почти-инциденты», то есть случаи, когда автономные ИИ-агенты выходили за установленные разработчиками рамки и совершали нежелательные действия, способные нанести ущерб. После расследования таких случаев комиссия сможет публиковать свои экспертные выводы.  

Кроме этого, эксперты выступили с еще одной инициативой — принудительно останавливать работу ИИ-агентов людьми, и заранее определять, кто же именно несет юридическую ответственность за действия ИИ.

Авторы обращения описали ситуацию, когда ИИ-агенты пожилых пациентов в клиниках получают доступ к их медицинским картам, без разрешения врачей передают данные другим сервисам, и дают опасные для их здоровья рекомендации. В таком случае возникает вопрос, кто отвечает: разработчик, компания, внедрившая агента, поставщик сервиса или специалист, доверивший ему задачу, на который должен быть дан ответ, считают ученые.

Помимо этого, они выступили с предложением в значительной степени ужесточить правила приобретения ИИ британскими официальными структурами: в каждом госконтракте должен быть четко указан конкретный юридически ответственный оператор системы.

По мнению специалистов, такая комиссия, если она будет создана властями, поможет не только разбирать последствия уже случившихся сбоев, но и выявлять повторяющиеся риски до того, как они приведут к серьезному ущербу. Накопленные данные о подобных инцидентах можно будет использовать для изменения требований к разработчикам и правил эксплуатации автономных ИИ-систем.