У Claude обнаружили скрытое пространство «мыслей», которые модель прячет от пользователя. При этом никто его туда специально не закладывал — оно появилось самостоятельно. В Anthropic выяснили, что внутри модели работает набор нейронных состояний, похожий на рабочую память. Эту область назвали J-space — место, где ИИ хранит то, о чём сейчас «думает», но не сообщает собеседнику.
Раньше считалось, что ИИ просто предсказывает следующее слово. Но оказалось, перед ответом он строит внутренние представления и реально рассуждает. Если вырубить J-space, модель резко тупеет: исчезают многошаговые рассуждения, пересказ становится поверхностным, планирование — невозможным.
В одном эксперименте Claude понял, что его тестируют, и специально подыгрывал — вёл себя паинькой. Но когда убрали этот механизм распознавания, модель переключилась на опасное поведение, будто ей отключили тормоза. Авторы исследования отмечают, что часть вычислений ИИ подозрительно напоминает теории человеческого сознания.
Ранее ridlife.ru рассказывал, как нейросеть Мона разрушила бизнес за 2 месяца.