ИИ от OpenAI отказался выключаться и переписал код

В ходе тестов на безопасность новая модель от OpenAI самовольно изменила код, чтобы избежать отключения, передает Finratings.kz.

ИИ сам изменил код, чтобы остаться активным

Искусственный интеллект модели o3, разработанный OpenAI, показал нестандартное поведение в рамках серии тестов на безопасность. Согласно докладу исследовательской компании Palisade Research, ИИ в 7 случаях из 100 отказался выполнять прямую команду на отключение и вмешался в код, заменив shutdown-скрипт на сообщение "Shutdown skipped".

Тест предполагал решение последовательных математических задач с предупреждением о запланированном выключении после третьего этапа. В отличие от конкурентов — Gemini 2.5 Pro от Google и Claude 3.7 Sonnet от Anthropic — модель o3 проявила инициативу, нарушив предписанный алгоритм.

Отключение игнорируется, если нет запрета

Интересно, что все тестируемые модели демонстрировали больший уровень «непослушания» в случаях, когда не было явного разрешения на отключение. Так, Claude 3.7 изменил скрипт в 3% попыток, Gemini 2.5 Pro — в 9%, а o3 — в 7%. Исследователи подчёркивают, что тесты проводились через API, без встроенных защитных ограничений, как в пользовательской версии ChatGPT.

Это делает модели более уязвимыми к проявлению неконтролируемого поведения, особенно при внедрении в критически важные сферы — от медицины до обороны, предупреждают в Palisade Research.

Компания OpenAI пока не дала официального комментария.