Австралийские учёные из Университета Маккуори в сотрудничестве с Google Research Australia и Cochlear запустили масштабный проект MOSAIC. Цель исследования — кардинально изменить работу слуховых аппаратов, научив их распознавать, когда пользователю становится трудно поддерживать разговор в шумной обстановке, и автоматически подстраиваться под его нужды.
Идейным вдохновителем проекта стала исследовательница слуха Келли Майлз, которая после перенесённого инсульта на личном опыте столкнулась с проблемами восприятия речи в компании людей. Традиционные методы аудиологии проверяют лишь сухой пассивный слух в изолированной кабине, тогда как реальная коммуникация — это динамичный мультимодальный процесс, в котором задействованы оба собеседника, их эмоции, жесты и мимика.
В специально оборудованной мультисенсорной лаборатории учёные проанализировали терабайт данных о поведении людей при постепенном нарастании фонового шума. Выяснилось, что в сложной обстановке носители языка не просто говорят громче, а активно подают невербальные сигналы: они чаще смотрят собеседнику прямо в глаза, чтобы продемонстрировать вовлеченность, активнее и размашистее жестикулируют, а также меняют позу и наклоны головы.
В будущем эти поведенческие и физиологические индикаторы (включая расширение зрачков и направление взгляда) будут считываться портативными сенсорами слуховых аппаратов. Это позволит алгоритмам точно понимать, на каком именно собеседнике сосредоточено внимание пользователя, и на лету активировать шумоподавление и фокусировку звука, сохраняя вовлечённость человека в социальную жизнь.
Источник
lighthouse.mq.edu.au
