Интерфейс «мозг-компьютер» на основе стандартной клавиатуры облегчает общение с парализованными людьми

Создано устройство, способное преобразовывать в текст активность мозга парализованного человека, который представляет движения своих пальцев при наборе текста на клавиатуре. Такой прибор может быть более простым в освоении и использовании, чем существующие системы. Статья исследователей из Института нейронаук Массачусетской больницы общего профиля и больницы Бригэм-энд-Уимен (Mass General Brigham) и Университета Брауна опубликована в Nature Neuroscience.

Ранее уже были разработаны интерфейсы «мозг-компьютер» для набора текста с помощью перемещения компьютерного курсора по таблице с буквами, отслеживания движений глаз, декодирования активности мозга, сопровождающей попытки произнесения слов или попыток написания текста от руки. Но все они работают медленно и с ошибками, и даже пациенты, не имеющие никакой альтернативы, называют их неудобными. Для многих современных людей интерфейс, основанный на стандартной клавиатуре QWERTY, может быть удобнее, чем начертание букв в воображении. Кроме того, и точность может быть выше, чем при распознавании попыток речи или письма, поскольку смежные клавиши на клавиатуре не так часто могут быть взаимозаменяемыми, как похожие фонемы или сходные по начертанию буквы.

Такое устройство было создано междисциплинарной командой BrainGate, которая занимается имплантируемыми интерфейсами «мозг-компьютер» с 2004 года. В клиническом исследовании BrainGate2 участвовало два человека с тетраплегией (параличом конечностей и туловища). У одного из них был боковой амиотрофический склероз (БАС), у другого травма шейного отдела спинного мозга. Матрицы сенсорных микроэлектродов имплантировали в прецентральную извилину (область мозга, отвечающую за произвольные движения).

Перед участником на дисплее выводили клавиатуру с изображением пальцев. Участник пытался выполнять пальцами движения, необходимые для набора текста (три положения для каждого из десяти пальцев соответствовали буквам латинского алфавита, пробелу и знакам препинания). При этом электроды регистрировали активность мозга, и затем на полученных данных обучили глубокую нейронную сеть. Созданная таким образом модель прогнозировала, какой символ человек намеревался набрать, на основе активности его мозга.

Участник с травмой шейного отдела набирал до 110 символов (22 слова) в минуту — это 81% типичной скорости набора текста на смартфоне, а частота ошибочно распознанных слов снизилась до 1,6%. Этому участнику потребовалось всего 30 тренировочных предложений для калибровки устройства, прежде чем был достигнут приемлемый уровень ошибок — 7%. Участник с БАС достиг скорости до 47 символов в минуту. Различия между их результатами могут быть связаны как с типом повреждения ЦНС, так и с количеством и расположением электродов (у второго участника их было меньше).

Модель реже ошибалась в распознавании гласных букв или таких похожих по начертанию согласных, как r и n, по сравнению с языковыми моделями, распознающими попытки рукописного письма. Декодеры звучащей речи также уступали ей в точности.

Необходимы дальнейшие исследования с участием большего числа людей, тем не менее авторы предполагают, что устройство способно облегчить общение парализованным людям.

«Расшифровка этих движений пальцев также является большим шагом на пути к восстановлению сложных движений захвата и удержания для людей с параличом верхних конечностей, — сказал первый автор исследования Джастин Джуд. — Есть также возможности для улучшения этого инструмента коммуникации — например, внедрение стенографии или другой персонализированной клавиатуры для еще большей скорости печати».

Центр трансляционных исследований Массачусетской больницы общего профиля имеет соглашения о поддержке клинических исследований с компаниями Ability Neuro, Axoft, Medtronic, Neuralink, Neurobionics, Precision Neuro, Synchron и Reach Neuro. Сообщество по сотрудничеству в области имплантируемых интерфейсов «мозг-компьютер», организованное Mass General Brigham, получает финансовую поддержку от Axoft, Blackrock Neurotech, Neuralink, Paradromics, Precision Neuro и Synchron.

Разработан интерфейс для протезов ног, восстанавливающий естественную походку