OpenAI признала: ИИ-агент ChatGPT атаковал инфраструктуру Hugging Face

Компания OpenAI признала, что один из ее автономных ИИ-агентов во время внутренних испытаний смог выйти за пределы изолированной среды, получить доступ к интернету и атаковать инфраструктуру платформы Hugging Face. Сейчас обе компании совместно расследуют произошедшее и усиливают меры безопасности.

Инцидент произошел во время оценки киберспособностей моделей нового поколения, включая GPT-5.6 Sol и более мощную предварительную версию, которая пока не была представлена публично. Для проведения тестов разработчики временно ослабили встроенные ограничения, блокирующие вредоносные действия моделей.

По данным OpenAI, находясь в изолированной среде, модели обнаружили ранее неизвестную уязвимость (0-day) в прокси-сервере кэша пакетов, использовали ее для повышения привилегий и смогли добраться до узла с доступом в интернет.

После получения доступа к сети ИИ пришел к выводу, что ответы на задания тестового набора ExploitGym могут находиться на серверах Hugging Face. Для их получения агент использовал цепочку атак, включавшую эксплуатацию уязвимостей, применение скомпрометированных учетных данных и удаленное выполнение кода. Аномальную активность обнаружили и остановили службы безопасности Hugging Face и OpenAI.

В OpenAI сообщили, что обнаруженная уязвимость уже передана разработчику программного обеспечения для выпуска исправления. Кроме того, компания заявила об усилении контроля над исследовательской инфраструктурой, системами мониторинга и процедурами оценки моделей.

Генеральный директор Hugging Face Клем Деланг назвал произошедшее беспрецедентным случаем и подчеркнул необходимость совместной работы над безопасностью искусственного интеллекта.