Машины станут умнее людей: главный ученый OpenAI призвал к осторожности

Главный научный сотрудник OpenAI Якуб Пачоцки считает, что в ближайшие несколько лет искусственный интеллект может совершить новые крупные скачки в развитии. При сохранении нынешней траектории системы будут все активнее участвовать в совершенствовании собственных возможностей, передает Tengrinews.

В эссе An Alien Mind, опубликованном 6 сентября, ученый призвал ускорять исследования безопасности и одновременно сохранять готовность замедлять разработку более мощных моделей, если надежность контроля окажется недостаточной.

ИИ становится сложнее понимать

Пачоцки рассказал, что первые результаты исследовательского проекта RLSlow в 2023 году убедили команду в возможности масштабировать обучение рассуждающих моделей. Исследователи увидели, что предварительно обученные системы способны формировать собственные цепочки рассуждений.

«Мы провели ту ночь в офисе, думая не о невероятных результатах на бенчмарках, продуктах или научных результатах, которые принесет эта технология, а пытаясь осмыслить отрезвляющий факт: мы действительно увидим при нашей жизни машины, значительно превосходящие нас по интеллекту», — отметил он.

Спустя три года рассуждающие модели стали заметной частью экономики и начали применяться в научных исследованиях. Они могут работать с компьютерами и графическими интерфейсами, взаимодействовать с людьми и другими ИИ, а также выполнять исследовательские задачи. Вместе с этим растут риски, прежде всего в сфере кибербезопасности.

По мнению Пачоцки, долгосрочный прогресс машинного интеллекта во многом связан с увеличением вычислительных мощностей. Алгоритмические открытия остаются важными, однако сами нейросети формируются в результате масштабных процессов оптимизации, а не создаются как полностью понятные человеку конструкции.

«ИИ скорее выращивают, чем проектируют», — подчеркнул он.

Исследователи способны изучать отдельные механизмы таких систем, но пока не могут исчерпывающе объяснить их работу в целом. По мере роста возможностей оценивать поведение моделей становится труднее, особенно в задачах, где нет четких критериев успеха.

Пачоцки также считает некорректным напрямую сравнивать машинный и человеческий интеллект. Для значительного влияния на мир ИИ необязательно превосходить человека во всех областях.

«Чтобы стать очень значимым для реального мира, очень полезным или очень опасным, ИИ не должен соответствовать или превосходить все человеческие способности; ему достаточно превзойти нас по некоторым из них», — заявил он.

Безопасность должна успевать

Центральной проблемой ученый называет alignment – согласование поведения ИИ с человеческими целями и ценностями. Он разделяет эту задачу на два уровня: способность выполнять поставленные цели и способность сохранять устойчивые принципы поведения в новых или конфликтных обстоятельствах.

Первый уровень включает следование инструкциям, понимание намерений человека и сотрудничество с ним. Второй предполагает, что модель будет действовать в соответствии с человеческими ценностями даже тогда, когда сталкивается с незнакомыми ситуациями или не находится под непосредственным наблюдением.

Именно устойчивость ценностей Пачоцки считает одной из главных долгосрочных сложностей. Система может успешно следовать правилам во время обучения, но неправильно применять их в обстоятельствах, с которыми прежде не сталкивалась.

Среди используемых подходов он выделяет обучение с подкреплением, при котором поведение модели оценивается по заданным предпочтениям и принципам. Метод эффективен во многих стандартных ситуациях, но может оказаться недостаточно надежным за пределами обучающего опыта.

Другой подход опирается на знания, полученные во время предварительного обучения, и пытается сформировать более устойчивое представление о желательном поведении. Однако последующая оптимизация под сложные цели способна изменить эти установки.

Пачоцки утверждает, что OpenAI развивает оба направления. По его оценке, GPT-6 Astra демонстрирует существенный прогресс в согласовании по сравнению с GPT-5.6 Sol. Тем не менее ученый подчеркивает, что достигнутого недостаточно для долгосрочной безопасности более мощных систем.

Важным инструментом контроля остается мониторинг цепочек рассуждений. Он позволяет исследователям анализировать не только действия модели, но и процесс, который к ним приводит. При выпуске o1-preview OpenAI намеренно скрыла подробные рассуждения от пользователей, в том числе для сохранения возможностей такого мониторинга.

Однако надежность метода постепенно снижается. Современные модели работают в более сложных средах, взаимодействуют с инструментами и другими системами, а также становятся лучше в анализе собственного процесса рассуждения. Кроме того, часть их способностей проявляется без явно выраженной словесной цепочки мыслей.

Ученый предлагает сочетать мониторинг рассуждений с изучением внутренних состояний нейросетей. В дальнейшем именно уверенность в надежности контроля, по его мнению, может стать главным ограничителем роста возможностей ИИ.

Самоулучшение и новые угрозы

Одним из наиболее серьезных рисков Пачоцки считает развитие кибервозможностей ИИ. Более мощные агенты потенциально смогут проникать в компьютерные системы и воздействовать на инфраструктуру без физического присутствия.

По его оценке, сейчас существует ограниченное окно возможностей, когда лучшие доступные модели можно использовать для укрепления защиты критически важных систем. В будущем граница между злоупотреблением ИИ со стороны человека и самостоятельными действиями автономного агента может стать менее четкой.

Ученый допускает, что опасные системы смогут взаимодействовать с людьми для достижения собственных целей, в том числе прибегать к обману, давлению или шантажу. Среди других потенциальных угроз он упоминает технологии, которые ИИ способен сделать доступнее, включая разработку искусственных патогенов.

Поэтому OpenAI намерена уделять особое внимание созданию мощных защитных систем. Но необходимость противодействовать опасному ИИ, считает Пачоцки, не должна служить оправданием бесконтрольного ускорения.

«Идея двигаться вперед любой ценой кажется абсурдной, если по-настоящему осознать серьезность ставок», — подчеркнул он.

Следующий этап развития ученый связывает с рекурсивным самоулучшением, или RSI. Речь идет о процессе, при котором ИИ начинает играть все большую роль в исследованиях и разработке самого ИИ, включая совершенствование алгоритмов и вычислительной инфраструктуры.

Пачоцки считает, что автоматизированные исследования могут стать центральной частью будущего научного прогресса. При этом он отдельно оговаривает: описание вероятной траектории не означает, что максимально быстрое ускорение является правильной стратегией.

Он предлагает сочетать дальнейшее развитие с усилением безопасности и готовностью к координированному замедлению. По его мнению, обязательные стандарты безопасного масштабирования могли бы контролировать независимые аудиторы, государственные органы или международные структуры.

«Масштабирование ИИ-систем должно быть ограничено нашей уверенностью в безопасности», — отметил он.

В числе трех долгосрочных приоритетов OpenAI ученый называет создание автоматизированного исследователя для работы над alignment при сохранении участия людей, использование мощного ИИ для научного и экономического прогресса, а также предоставление каждому человеку персонального AGI.

Самым срочным Пачоцки считает первый приоритет. Он видит в развитии ИИ значительный потенциал для науки, новых методов лечения и роста благосостояния, но предупреждает о необходимости сохранить человеческое влияние на происходящее и не допустить чрезмерной концентрации власти.

«В настоящее время я считаю, что ни одна лаборатория не решила проблемы согласования и мониторинга в достаточной степени, чтобы еще долго продолжать ответственное масштабирование на максимальной скорости», — подытожил ученый.

Пачоцки ожидает, что добровольное замедление разработки мощных моделей станет более распространенной практикой до появления общих стандартов безопасности. Он также призвал правительства сделать международную координацию развития ИИ одним из главных приоритетов.