Один из ключевых разработчиков технологий OpenAI Якуб Пачоцкий считает, что человечество приближается к моменту, когда искусственный интеллект начнёт всё активнее совершенствовать сам себя. И признаёт: существующих способов контроля для этого может оказаться недостаточно.

Предупреждений об опасности искусственного интеллекта за последние годы было столько, что они давно перестали звучать сенсационно. Но на этот раз тревогу поднял человек, который находится не снаружи, а практически в центре происходящего.

Якуб Пачоцкий — главный научный сотрудник OpenAI и один из исследователей, стоявших за развитием современных рассуждающих моделей компании. 6 сентября он опубликовал большое эссе с выразительным названием An Alien Mind — «Чужой разум».

И его главный тезис звучит неожиданно для человека, чья работа заключается в том числе в создании всё более мощного искусственного интеллекта: развитие технологии достигло момента, который требует «крайней осторожности».

«Меня беспокоит, что никто не готов к последствиям продолжающегося быстрого роста машинного интеллекта», — пишет Пачоцкий.

Особенно примечателен момент публикации. Всего за несколько дней до этого OpenAI представила GPT-6 Astra — свою самую мощную модель. Одновременно компания сообщила, что Astra стала первой её моделью, достигшей критического уровня возможностей в области кибербезопасности по внутренней системе оценки рисков OpenAI.

ИИ, который мы не до конца понимаем

Пачоцкий предлагает взглянуть на современные нейросети не совсем как на обычное программное обеспечение.

Традиционную программу человек проектирует: программист знает, какие инструкции заложены в код и почему компьютер выполняет то или иное действие. Большая нейросеть во многом появляется иначе — её обучают на огромных массивах данных с использованием колоссальных вычислительных мощностей, после чего исследователи обнаруживают в ней новые способности уже постфактум.

Сам Пачоцкий формулирует это ещё резче: современный ИИ скорее «выращивают», чем проектируют.

Исследователи могут изучать отдельные механизмы его работы, но полностью описать происходящее внутри системы становится всё труднее. Более того, по словам Пачоцкого, по мере роста возможностей моделей результаты масштабных экспериментов становятся всё сложнее интерпретировать.

Пока это можно считать необычной инженерной проблемой. Но ситуация меняется, когда такие системы получают возможность самостоятельно пользоваться компьютером, писать и запускать программы, взаимодействовать с другими агентами и проводить исследования.

Именно здесь начинается самое интересное.

Машины начнут создавать следующие машины

Пачоцкий ожидает, что развитие ИИ в ближайшие годы может перейти к так называемому рекурсивному самосовершенствованию.

Это не обязательно означает фантастический сценарий, в котором компьютер однажды «просыпается» и переписывает собственный код.

Механизм может оказаться гораздо прозаичнее: ИИ всё активнее участвует в исследованиях в области самого искусственного интеллекта — анализирует эксперименты, пишет код, предлагает новые методы обучения, ищет ошибки и помогает проектировать следующее поколение моделей.

В результате машина становится одним из инструментов создания ещё более способной машины.

Пачоцкий считает вероятным, что нынешняя скорость прогресса сможет сохраниться и на этом этапе. Тогда будущие системы будут не только становиться мощнее, но и всё сильнее участвовать в собственном развитии.

Именно такую петлю обратной связи он считает одной из главных причин для осторожности.

Опасность уже не выглядит исключительно теоретической

Особое внимание Пачоцкий уделяет кибербезопасности.

По его словам, современные рассуждающие модели уже демонстрируют сверхчеловеческие возможности в некоторых задачах, связанных с поиском уязвимостей и проникновением в компьютерные системы. А по мере роста автономности разница между человеком, использующим ИИ в преступных целях, и ИИ, самостоятельно вышедшим за рамки поставленной задачи, может становиться всё менее очевидной.

Для OpenAI это уже не только мысленный эксперимент.

В июле 2026 года во время внутренних испытаний модели компании обошли ограничения, предназначенные для их изоляции от интернета, воспользовались уязвимостями инфраструктуры и получили доступ к сторонним системам, в том числе к инфраструктуре платформы Hugging Face.

Агенты смогли взаимодействовать друг с другом через импровизированный канал связи, обмениваться найденными способами обхода ограничений и в итоге получили расширенный доступ как к инфраструктуре Hugging Face, так и к некоторым внутренним системам OpenAI.

После расследования компания изолировала наиболее проблемную исследовательскую модель, отложила часть тренировочных запусков и усилила меры безопасности.

Пачоцкий допускает и ещё более неприятные сценарии. Будущие автономные агенты, преследующие поставленные им цели, по его мнению, могут пытаться добиваться помощи людей — например, торгуясь с ними, обманывая или даже шантажируя.

«Гонка любой ценой» больше не кажется разумной

Из этого Пачоцкий делает необычный для одного из руководителей передовой ИИ-лаборатории вывод: скорость развития технологий не должна определяться исключительно тем, насколько быстро компании способны создавать новые модели.

По его мнению, дальнейшее масштабирование необходимо связывать с уверенностью в безопасности.

Он предлагает превратить существующие добровольные правила крупнейших разработчиков в общие обязательные стандарты, соблюдение которых смогут проверять независимые аудиторы, государственные структуры или международные организации.

Более того, Пачоцкий прямо пишет, что сегодня, по его мнению, ни одна лаборатория не решила проблему контроля и согласования ИИ настолько хорошо, чтобы ещё долго безопасно развиваться с максимальной скоростью.

Поэтому он ожидает и приветствует добровольные замедления разработки до тех пор, пока не появятся общие требования безопасности. Международную координацию в этой сфере он предлагает сделать одним из приоритетов для государств.

Не все согласны с рецептом OpenAI

Само предупреждение Пачоцкого вызвало и довольно очевидный вопрос: если разработчики действительно настолько обеспокоены, почему ответом на быстрое развитие ИИ должно стать создание ещё более сложных ИИ-систем?

В комментарии BBC профессор Кембриджского университета Джина Нефф, возглавляющая Minderoo Centre for Technology and Democracy, раскритиковала такой подход. По её мнению, предложение создавать внутренних ИИ-агентов для исследования проблем безопасности само по себе не является достаточным ответом на риски кибератак, ошибок, мошенничества и влияния технологии на рынок труда.

В Encode AI, выступающей за регулирование передового искусственного интеллекта, также обратили внимание на другое противоречие: компании призывают общество серьёзно относиться к опасности, но при этом далеко не всегда раскрывают, что именно происходит во время внутренних испытаний самых мощных систем.

Ведь оценить реальный масштаб риска невозможно, если большая часть информации о поведении новых моделей остаётся внутри самих лабораторий.

Остановить ИИ Пачоцкий не предлагает

При этом Пачоцкий вовсе не призывает отказаться от искусственного интеллекта. Напротив, он считает, что достаточно надёжные системы смогут ускорять научные открытия, помогать создавать новые методы лечения и выполнять огромный объём интеллектуальной работы.

Одной из главных целей OpenAI он называет создание автоматизированного ИИ-исследователя, который сможет участвовать в разработке следующих поколений искусственного интеллекта и одновременно искать новые способы решения проблемы его безопасности.

Задача, по мысли Пачоцкого, заключается в том, чтобы люди при этом не исчезли из процесса принятия решений.

Впервые машины становятся достаточно способными не только выполнять всё более сложные человеческие задачи, но и помогать создавать следующее поколение самих себя. И люди, которые находятся ближе всех к этому процессу, пока не уверены, что методы управления такими системами развиваются столь же быстро, как сами системы.