Интерфейсы мозг-компьютер. Часть 1. Речевые интерфейсы⁠⁠

Привет, Пикабу!
Давно не было интересных статей без политоты и твиттерного отребья да? )
Что может быть более контрастно чем мои любимые нейротехнологии? О них и расскажу. Первая часть будет о речевых нейроинтерфейсах. Если по простому мозг-компьютер-речь.

Технология интерфейса мозг-компьютер (ИМК) была впервые разработана как инструмент, обеспечивающий базовое взаимодействие, такое как общения, без движения. В последние несколько лет произошел сдвиг в сторону новых групп пациентов и приложений, таких как помощь пациентам с инсультом в восстановлении движения или помощь нейрохирургам в более точном картировании мозга для более быстрого и безопасного проведения операций.

Рассмотрим детальнее основные виды современных интерфейсов мозг-компьютер. Их можно разделить на четыре основных группы:

1.Речевые интерфейсы мозг-компьютер

2.Моторные интерфейсы

3.Интерфейсы для управления киборгами (чипирование живых организмов)

4.Интерфейсы для реабилитации

Речевые интерфейсы

1) ИМК на основе ЭКоГ на основе слухового внимания к естественной речи

Люди, страдающие тяжелыми нейродегенеративными заболеваниями (например, поздней стадией бокового амиотрофического склероза (БАС)), в конечном итоге теряют мышечный контроль и больше не могут жестикулировать или говорить. Недавние исследования показывают, что электрокортикографические (ЭКоГ) сигналы в гамма-диапазоне (т.е. 70–170 Гц) могут использоваться для определения идентичности звуковых речевых стимулов.

В своей работе [1] авторы изучают эту возможность, реализуя систему реального времени на основе BCI2000, которая использует сигналы ЭКоГ для идентификации присутствующего говорящего.

Исследуемому пациенту с трудноизлечимой эпилепсией была проведена временная установка 72 субдуральных электродов. Регистрация ЭКоГ с имплантированных электродов производилась с использованием усилителя g.HIamp и программной платформы BCI BCI2000, которая собирала данные с частотой 1200 Гц .

Задача испытуемого заключалась в том, чтобы выборочно проявить внимание к одному из двух одновременно выступающих говорящих. Авторы смешали две (монофонические) речи в бинауральную презентацию, в которой поток, передаваемый каждому уху, содержал 20% ∶ 80% громкости одного говорящего и 80% ∶ 20% громкости другого, соответственно.

Созданный интерфейс получает звуковой сигнал через микрофон или предварительно загруженный файл. Затем фильтр корреляции сигналов вычисляет значения корреляции, то есть корреляцию между двумя (монофоническими) речами, чтобы определить, на какого говорящего пользователь направляет свое внимание. Наконец, фильтр увеличения обратной связи увеличивает громкость обслуживаемого докладчика и уменьшает громкость другого говорящего, чтобы обеспечить обратную связь с субъектом

2) Распознавание непрерывной речи с помощью интерфейса мозг-компьютер

В течение последних двух десятилетий исследования в области интерфейса мозг-компьютер (ИМК) работали над практическими и полезными приложениями для коммуникации и управления. Тем не менее, многие методы. использующие ИМК, страдают от неестественного взаимодействия или трудоемкого обучения пользователей. Поскольку непрерывная речь обеспечивает очень естественный подход к общению, долгое время стоял вопрос, можно ли разработать ИМК, которые распознают речь по активности коры головного мозга. Воображаемая речь как парадигма ИМК для ограниченных пациентов означала бы значительное улучшение скорости общения и удобства использования без необходимости громоздкого написания с использованием отдельных букв .

В исследовании с 7 участниками [2] авторы впервые показали, что непрерывная речь представлена в мозгу как последовательность фонем(звуков). Эти фонемы могут быть декодированы из записей электрокортикографии (ЭКоГ) и позволяют составить произнесенные слова. Все участники перенесли операцию в связи с трудноизлечимой эпилепсией и согласились участвовать в нашем эксперименте. Расположение электродов определялось исключительно исходя из клинических потребностей пациентов.

В эксперименте авторы одновременно записывали ЭКоГ-активность и форму звуковой волны, в то время как участники читали вслух разные тексты, состоящие из детской литературы, фанфиков или политических выступлений. Авторы согласовали нейронные данные по времени с маркировкой фонем, полученных из звуковых данных, с помощью собственного инструментария распознавания речи BioKIT. Это позволило идентифицировать нейронную активность, соответствующую производству каждой фонемы.

Затем авторы объединили фонемное(звуковое) представление корковой активности с языковой информацией, используя технологию автоматического распознавания речи, чтобы реконструировать слова в мысленно произнесенных фразах. Информация о языке включается в процесс декодирования через языковую модель и словарь произношения. Словарь произношения содержит отображения фонемных последовательностей в слова. Языковая модель статистически моделирует синтаксическую и семантическую информацию, предсказывая следующие слова с учетом предшествующих слов.

Результаты показали, что с ограниченным набором слов в словаре интерфейс может восстанавливать полные предложения. На рисунке показаны различные этапы декодирования непрерывно произносимых фраз из нейронных данных.

Например, последовательность воображаемых фонем (звуков)

w/ih/aa/r/ /k/aa/m/ih/t/aa/t/ /t/aa/t/eh/

Интерфейс распознает и произнесёт как

We are commited today