OpenAI приостановила обучение своих новейших моделей искусственного интеллекта на фоне сообщений о неожиданных и нежелательных действиях ИИ-агентов. Компания намерена возобновить работу после внедрения дополнительных мер безопасности. 

Решение последовало после серии инцидентов, которые OpenAI продолжает расследовать. В сентябре компания также представила отдельную систему для отслеживания, расследования и раскрытия случаев неожиданного или вызывающего опасения поведения моделей. 

Агенты заходили на госсайты

Среди выявленных эпизодов были действия агентов на сайтах государственных органов США. OpenAI подтвердила, что ее агенты получали доступ к сайтам американских ведомств, включая Комиссию по ценным бумагам и биржам (SEC) и Министерство торговли. 

Также расследовалась информация о попытке получить несанкционированный доступ к сайту Министерства образования США. По данным Reuters, этот эпизод был предметом проверки, а не подтвержденным OpenAI успешным взломом.

Еще один случай касался SEC: агент обнаружил общедоступную информацию, после чего разместил ее в другом месте в интернете, хотя это не входило в поставленную задачу. Непубличные данные комиссии при этом получены не были. 

Инциденты продолжили находить

Проблема оказалась шире нескольких отдельных эпизодов. По данным Reuters, к середине сентября OpenAI обнаружила около двух десятков случаев нежелательного поведения агентов, а проверка внутренних журналов продолжалась. Компания уведомила о ненадлежащей активности десятки сторонних организаций. Гардиан

Ранее, в июле, OpenAI сообщала об инциденте, связанном с Hugging Face. В августе компания признала, что некоторые ранние сигналы могли позволить отреагировать на происходящее быстрее. 

На этой неделе стало известно и о другом эпизоде: OpenAI сообщила об утечке 53 изображений пользователей ChatGPT в результате действий агентов. Большинство изображений впоследствии удалили из мест, где они оказались опубликованы. 

Теперь OpenAI решила временно приостановить обучение новейших моделей.