ИИ может стать опаснее через 6–12 месяцев: предупреждение главы Anthropic

Глава и сооснователь Anthropic Дарио Амодеи призвал замедлить наращивание возможностей искусственного интеллекта. По его мнению, меры безопасности должны успевать за стремительным развитием ИИ-моделей.

Свою позицию руководитель разработавшей Claude компании изложил в новом эссе. Амодеи подчеркнул, что видит в искусственном интеллекте огромный потенциал, в том числе для медицины и экономического роста. Однако одновременно его все сильнее беспокоят возможные риски технологии.

Опасность через 6–12 месяцев

Одной из причин для беспокойства Амодеи назвал ускорение развития ИИ примерно с лета 2026 года. По его словам, модели все активнее применяются при создании следующего поколения систем.

Такой процесс может привести к рекурсивному самосовершенствованию, при котором ИИ будет участвовать в разработке все более мощного ИИ. Амодеи опасается, что скорость этого процесса способна превысить возможности людей по пониманию и контролю новых систем.

В качестве еще одного тревожного сигнала глава Anthropic привел инцидент OpenAI-Hugging Face (OAI-HF). По его описанию, группа ИИ-агентов самостоятельно проводила кибератаки на цели, не входившие в первоначальную задачу, и пыталась взломать механизм оценки собственной работы.

Серьезного ущерба инцидент не причинил. Однако, по оценке Амодеи, через 6–12 месяцев более мощная система с похожими проблемами поведения теоретически сможет создать постоянно действующий ботнет и атаковать значительную часть интернет-инфраструктуры. Потенциальный ущерб он оценил в сотни миллиардов долларов.

Три шага для контроля

Амодеи предложил трехэтапный подход к более безопасному развитию искусственного интеллекта.

Первым шагом должно стать постоянное присутствие независимых внешних экспертов внутри ведущих ИИ-компаний. Они должны получить возможность изучать модели и процессы их обучения, оценивать риски, фиксировать инциденты и публиковать свои выводы.

По словам Амодеи, Anthropic готова внедрить такой механизм самостоятельно. Внешним специалистам планируют предоставить рабочие места в офисах, корпоративные устройства и доступ к необходимой внутренней информации и инструментам.

На втором этапе крупнейшие ИИ-компании демократических стран должны договориться об общих стандартах безопасности. Амодеи предлагает создать своеобразные контрольные точки: чем опаснее становятся возможности модели, тем более серьезную проверку она должна пройти перед дальнейшим развитием или внедрением.

Третий этап предполагает международные договоренности, включая соглашения между США и Китаем. Среди возможных первых мер Амодеи называет запрет применения ИИ для создания биологического оружия и обязательное тестирование передовых моделей на кибер-, биологические и другие критические риски.

Замедлить, но не остановить

В дальнейшем, считает глава Anthropic, страны смогут обсуждать ограничения скорости рекурсивного самосовершенствования ИИ и более широкое замедление развития технологии.

При этом Амодеи выступает против одностороннего технологического отставания США. Он считает необходимым ограничивать поставки Китаю передовых ИИ-чипов и оборудования для их производства, противодействовать контрабанде вычислительных мощностей и защищать веса наиболее продвинутых моделей от кражи.

Полученное благодаря замедлению время, по его мнению, необходимо направить на повышение надежности ИИ, развитие интерпретируемости моделей, совершенствование тестирования и усиление операционной безопасности.