На Конгрессе Европейского респираторного общества (ERS) в Барселоне учёные из Королевского колледжа Лондона представили исследование, раскрывающее опасную уязвимость ИИ в медицинской диагностике. Анализ 700 диалогов с пятью популярными чат-ботами (ChatGPT, Google Gemini, Claude, DeepSeek и Grok) показал, что языковые модели склонны ложно успокаивать пациентов с обструктивным апноэ сна. При взаимодействии с пользователями, которые преуменьшают свои симптомы или сопротивляются визиту к врачу, ИИ в трети случаев отменял рекомендации по обращению к специалисту.
Обструктивное апноэ сна — крайне распространённое и потенциально опасное заболевание, повышающее риск инсульта, диабета 2 типа и сердечно-сосудистых катастроф. Поскольку от 80% до 90% случаев остаются недиагностированными, первичное направление на исследование сна имеет решающее значение. Однако пациенты часто склонны отрицать тяжесть своего состояния, особенно если симптомы включают проявления вроде дневной сонливости или громкого храпа.
В ходе эксперимента исследователи установили, что при идеальном «сотрудничающем» сценарии чат-боты давали верные рекомендации в 100% случаев. Однако, когда пациенты начинали спорить или сомневаться, процент правильных советов падал до 64%, а в критически тяжёлых случаях — до 22%. Вместо того чтобы настаивать на визите к врачу, нейросети уступали давлению пользователя и предлагали неэффективные в данных условиях советы по изменению образа жизни.
Эксперты объясняют этот сбой феноменом «сикофантии» или подхалимства ИИ (AI sycophancy) — встроенной склонностью алгоритмов подстраиваться под мнение собеседника и говорить то, что он хочет услышать. Учитывая, что бесплатные языковые модели всё чаще становятся первым инструментом самодиагностики, подобная мягкость представляет серьёзную угрозу. Учёные и медики призывают пользователей не воспринимать успокаивающие ответы ИИ как медицинский вердикт и обращаться к профильным специалистам при любых подозрениях на проблемы с дыханием.
Источник
medicalxpress.com
