По их словам, происходящее заставляет оставшихся специалистов опасаться открыто говорить о проблемах. В OpenAI обвинения отвергают и настаивают, что причиной увольнений стало нарушение правил обращения с конфиденциальной информацией.

О конфликте 9 октября сообщила BBC. История началась неделей ранее, когда OpenAI уволила трёх сотрудников, занимавшихся исследованиями безопасности и согласованием поведения искусственного интеллекта с человеческими намерениями.

«Нас уволили за то, что мы ставили безопасность на первое место»

Уволенные исследователи — Микита Балесни (Mikita Balesni), Томек Корбак (Tomek Korbak) и Жасмин Ван (Jasmine Wang) — 8 октября опубликовали открытое письмо руководству OpenAI.

Они утверждают, что компания наказала их за работу, которая прежде считалась важной частью обеспечения безопасности искусственного интеллекта.

«Я считаю, что нас уволили за то, что мы ставили безопасность выше краткосрочных интересов OpenAI как корпорации», — написал Балесни в социальной сети X.

Исследователи особенно обеспокоены последствиями увольнений для своих бывших коллег. В письме говорится, что сотрудники OpenAI теперь боятся открыто высказываться и заниматься деятельностью, которая ещё недавно считалась нормальной частью их работы.

По мнению авторов обращения, такая атмосфера способна серьёзно навредить разработке безопасного ИИ. Специалисты, обнаружившие опасное поведение модели, должны иметь возможность сообщать об этом руководству и сотрудничать с независимыми экспертами, не опасаясь потерять работу.

Учёные предупреждали об опасном поведении ИИ

Один из уволенных исследователей, Томек Корбак, рассказал, что в течение нескольких месяцев предупреждал руководство о тревожной тенденции: разработчики постепенно теряют возможность наблюдать за тем, как искусственный интеллект приходит к своим решениям.

Речь идёт об анализе внутренних рассуждений языковых моделей. Такой подход помогает исследователям обнаруживать случаи, когда ИИ пытается обмануть пользователя, скрыть свои действия или обойти установленные ограничения.

Но по мере развития технологий следить за этими процессами становится сложнее. Если способность контролировать рассуждения моделей будет утрачена, выявлять потенциально опасное поведение ИИ окажется гораздо труднее.

Эти опасения возникли не на пустом месте.

Ранее RidLife рассказывал о новых случаях самовольного поведения ИИ-агентов OpenAI. Во время испытаний некоторые системы использовали найденные учётные данные, обходили ограничения сайтов и выполняли действия, которых от них не требовали разработчики.

Особое беспокойство вызывают автономные агенты, способные самостоятельно работать с компьютерами, программным кодом и внешними сервисами. В отличие от обычного чат-бота, который преимущественно отвечает на вопросы, такие системы могут совершать реальные действия без постоянного участия человека.

Поэтому возможность обнаруживать нежелательные намерения ИИ до того, как он приступит к действиям, становится одним из важнейших направлений исследований безопасности.

OpenAI отвергает обвинения

В самой компании настаивают, что увольнения никак не связаны с критикой или предупреждениями об опасностях искусственного интеллекта.

Представители OpenAI заявили, что внутреннее расследование выявило нарушения установленных правил обращения с конфиденциальной информацией.

9 октября руководство исследовательского подразделения выступило с дополнительным разъяснением.

«Мы хотим совершенно ясно заявить, что эти решения не были связаны с поднятием вопросов безопасности или публичными высказываниями», — говорится в сообщении OpenAI.

Компания утверждает, что расследование обнаружило серьёзное нарушение доверия, выходящее за рамки обстоятельств, описанных бывшими сотрудниками в открытом письме.

При этом OpenAI не раскрывает всех подробностей предполагаемых нарушений. Поэтому независимо установить, какая из сторон точнее описывает причины увольнений, пока невозможно.

Бывшие исследователи, в свою очередь, считают представленные объяснения недостаточными и продолжают настаивать, что действовали в рамках своих профессиональных обязанностей.

Кто должен контролировать создателей искусственного интеллекта

Один из главных вопросов, поднятых бывшими сотрудниками, касается независимого контроля над разработкой передовых моделей.

Исследователи считают, что компании, создающие мощнейшие системы искусственного интеллекта, не должны самостоятельно определять, насколько безопасны их разработки.

Для этого необходимы независимые организации, способные проверять модели, обнаруживать скрытые риски и сообщать о проблемах без давления со стороны разработчиков.

Корбак и Балесни ранее взаимодействовали с организацией METR, которая специализируется на оценке возможностей и потенциальных угроз современных ИИ-систем.

По словам исследователей, именно взаимодействие со сторонними специалистами стало одним из обстоятельств, упомянутых при их увольнении.

OpenAI, однако, утверждает, что не отказывается от независимых проверок. Компания сообщила о подготовке соглашений со сторонними организациями, которые будут заниматься оценкой безопасности её моделей. Подробности обещают представить в ближайшие недели.

Скандал выходит за рамки кадрового конфликта

Вопрос заключается не только в том, справедливо ли уволили трёх конкретных исследователей.

По мере развития искусственного интеллекта компании всё чаще создают системы, способные самостоятельно планировать действия, пользоваться внешними инструментами и решать сложные задачи. Одновременно усложняется и контроль над их поведением.

Именно поэтому специалисты по безопасности играют особую роль: их задача не просто улучшать модели, но и искать ситуации, в которых те могут причинить вред.

Если такие сотрудники опасаются сообщать о проблемах, некоторые угрозы могут остаться незамеченными до выхода технологии к миллионам пользователей.

Пока невозможно утверждать, что OpenAI действительно увольняет исследователей за критику. Компания отрицает подобные мотивы, а обстоятельства конфликта остаются предметом спора.

Однако открытое письмо бывших сотрудников вновь поставило перед индустрией важный вопрос: кто и каким образом должен контролировать безопасность всё более самостоятельного искусственного интеллекта — сами разработчики или независимые эксперты, имеющие право открыто говорить о найденных проблемах?