Нейросеть смогла воссоздать речь по активности головного мозга

Нью-Йоркский университет (США) создал нейросеть, которая анализирует нейронную активность коры головного мозга, а затем реконструирует по ней речь человека. Кроме того, компьютер также способен воспроизводить голос обладателя на основе работы разветвлённых сетей головного мозга.

Новая система способна считывать электрокортикографические записи коры мозга, — последняя обрабатывает моторные и сенсорные сигналы, отвечающие за речь. Благодаря сканированию мозга нейросеть может отделить сигналы, отвечающие за вибрации гортани и точные движения мышц, при помощи которых человек способен создавать сложные звуки, от остальных импульсов.

Система обучена обрабатывать как текущие и прошлые нейронные сигналы, так и будущие, а затем на основе их комбинации реконструировать человеческую речь. Это невероятно сложная задача, поскольку для точной реконструкции нейросети нужно считывать не только моторные сигналы, но и сенсорные, а затем декодировать эту сложную конструкцию.

Однако прототип смог справиться с этим, причём он также оказался способен воссоздать голос пациента лишь на основе его записей. Чтобы протестировать систему, исследователи обратились к группе из пяти человек, у которых диагностировали эпилепсию с нарушениями развития речи. Такие пациенты страдают от сложных эпилептических припадков и не реагируют на лечение, поэтому испытывают трудности с повседневными разговорами.

Учёные имплантировали этим пациентам сетку из 64 субдуральных электродов, которую поместили прямо на поверхность левого полушария головного мозга. После этого матрица на основе электрокортикографических записей активности коры головного мозга позволила получить информацию о деятельности мозга, а нейросеть декодировала речь. Результаты этой сложной задачи исследователи представили на видео.