Слуховой интерфейс «мозг-компьютер» отслеживает внимание пользователя, чтобы усилить только нужный звук

Разобрать речь собеседника среди множества фоновых голосов — непростая задача для многих людей, особенно если им приходится использовать слуховой аппарат. Современные слуховые аппараты неспособны распознать намерение пользователя, поэтому усиливают звуки неизбирательно. Для решения этой проблемы авторы статьи в Nature Neuroscience разработали нейроинтерфейс, который считывает активность мозга пользователя и усиливает только голос того говорящего, на которого направлено внимание. 

Чтобы обучить модель, ученые регистрировали активность мозга добровольцев с помощью внутричерепной энцефалографии высокого разрешения. Они привлекли четверых человек, которые проходили клинический мониторинг в связи с эпилепсией, для чего были имплантированы внутричерепные электроды. Сперва участникам проигрывали одновременно две записи речи, с разным соотношением громкости, и просили фокусировать внимание только на одной из них, игнорируя другую. Затем обученная модель декодировала внимание испытуемых по активности их мозга в режиме реального времени. 

В первом эксперименте участники сперва прослушивали сегменты записи, в которых «целевая» речь звучала тише, чем помеха. После этого активировалась система обратной связи, которая избирательно усиливала целевую речь, идентифицированную по признакам внимания в активности мозга. В завершение каждого испытания участники сообщали, какой из сегментов им было комфортнее и понятнее слушать, а также отвечали на два вопроса о содержании услышанного. В большинстве случаев испытуемые предпочитали сегменты, в которых система была активна, и им требовалось меньше усилий, чтобы разобрать целевую речь. 

В реальных диалогах слушатели часто переключают внимание с одного собеседника на другого, поэтому важно, чтобы система обеспечивала такую возможность. Именно этому был посвящен следующий эксперимент. Участников просили сосредоточиться на одном из двух голосов, а при появлении визуальной подсказки переключить внимание на другой. Опыты показали, что разработанная система отслеживает это переключение внимания, и соответствующим образом переключает соотношение целевой речи к остальным звукам. 

Аналогичный результат авторы продемонстрировали и в эксперименте со свободным переключением внимания — участники сами выбирали, на какой из двух записей фокусироваться в тот или иной момент времени. Для удобства отслеживания они указывали на тот динамик, с записи с которого прислушивались.

Испытуемый указывает на динамик, к речи из которого прислушивается в ходе эксперимента.
Credit:
Vishal Choudhari / Mesgarani lab / Columbia’s Zuckerman Institute | пресс-релиз

Наконец, ученые протестировали разработку на 40 добровольцах с нарушениями слуха. Они предложили им прослушать записи из первого эксперимента — как обычные, так и те, в которых была усилена целевая речь, и выбрать более разборчивое звучание. Эксперимент показал, что модель, обученная на активности мозга людей с нормальным слухом, способна улучшить восприятие речи в этой клинически значимой группе. 

Полученные результаты могут лечь в основу создания персонализированных слуховых аппаратов. Авторы этой работы продемонстрировали, что слуховой интерфейс «мозг-компьютер», реагирующий на активность мозга пользователя в режиме реальном времени, способен избирательно усиливать нужный сигнал и улучшать восприятие речи. 

Интерфейс «мозг-компьютер» на основе стандартной клавиатуры облегчает общение с парализованными людьми