Новый мозговой имплантат переводит мысли о письме в текст
До последнего времени разработчики нейрокомпьютерных интерфейсов на основе имплантатов, предлагали парализованным людям возможность набора текста с помощью виртуальной клавиатуры с возможностью управлять курсором с помощью разума. По сути это развитие технологии, предложенной Родригесом Дельгадо в начале 1960-х. Со временем этот процесс стал более эффективен, но продолжает оставаться медленным - около 25 символов в минуту, требует полной сосредоточенности пользователя, так как он должен и отслеживать перемещение курсора, и определять, когда выполнить эквивалент нажатия клавиши. Также пользователь должен потратить время на то, чтобы научиться управлять системой.
И вот, наконец, надежда на прорыв.
Эта информация изначально опубликована на Ars Technica, надёжном источнике технологических новостей, в мае 2021 года. Компания Neuralink Илона Маска выходит на новый уровень использования нейроимплантатов.
Новая идея (которая не так уж и нова) основана на том, что где-то в процессе написания текста, мы формируем намерение использовать тот или иной символ, и стоит попробовать нейроимплантат для отслеживания возбуждения участков мозга как раз именно на этапе намерения. После того как намерение оформилось, решение передаётся в моторную кору, где оно переводится в действие.
Предполагалось, что улавливание намерений с большей вероятностью даст чёткий сигнал, чем улавливание самих движений (любое движение задействует множество мышц и зависит от конкретных условий, например, где ваша рука находится относительно листа бумаги).
В общем, исследователи поместили два имплантата в премоторную кору мозга парализованного человека. Считается, что именно эта область участвует в формировании намерений выполнять движения.
Установив имплантаты в нужном месте, учёные попросили участника представить, как он пишет буквы на странице, а сами в этот момент записали нейронную активность. (Пациенту также предложили использовать знаки препинания, такие как запятая и вопросительный знак, и использовали «>», чтобы указать пробел и тильду вместо точки.)
Рисунок 47 Neuralink Илона Маска
Всего в премоторной коре головного мозга участника было размещено 2 имплантата размером со среднюю монету по 100 электродов каждый. Не все из них оказались информативными. Но на основе тех, которые работали, авторы провели анализ главных паттернов нейрограммы, которые больше всего различались при представлении написания различных букв.
В итоге они обнаружили, что могут расшифровать соответствующий символ с точностью чуть более 94 процентов. Но разбор записи был долгим. Чтобы всё работало в реальном времени, исследователи создали рекуррентную нейронную сеть способную оценивать вероятность сигнала, соответствующего каждой букве.
Несмотря на работу с относительно небольшим объёмом данных (всего 242 символа), система работала замечательно. Задержка между мыслью и символом, появляющимся на экране, составляла всего около полсекунды, и участник смог воспроизвести около 90 символов в минуту, что значительно превзошло предыдущий рекорд для набора текста с помощью имплантата. Частота ошибок составила всего около 5 процентов, а применение такой системы, как автокоррекция набора текста, помогло снизить частоту ошибок до 1 процента.
Все тесты проводились с заранее подготовленными предложениями. Однако, когда исследователи попросили участника напечатать ответы на вопросы в свободной форме, скорость немного снизилась (до 75 символов в минуту) и количество ошибок увеличилось до 2 процентов после автокоррекции, но система всё равно работала. [47]
По словам самих разработчиков, это «даже не прототип, ещё не полностью, клинически жизнеспособная система». Начнём с того, что она использовалась только у одного человека, поэтому неизвестно, насколько хорошо она может сработать для других. Кроме того, поведение имплантатов со временем меняется, возможно, из-за незначительных сдвигов по отношению к нейронам, или из-за накопления рубцовой ткани, поэтому систему нужно было регулярно перекалибровывать – не реже одного раза в неделю, чтобы поддерживать допустимый уровень ошибок.
Тем не менее, устройство показывает очень значительный прирост скорости по сравнению с предыдущими системами на имплантатах, и довольно высокую точность.
Похвально упорство, с которым учёные уже несколько десятилетий расшифровывают нейрограммы мозга. Но если для хранения алфавита задействовано несколько квадратных миллиметров коры головного мозга, то как в него помещаются все остальные знания и навыки? На мой скептический взгляд, это всё равно, что по аэрофотоснимкам местности изучать язык, на котором говорит местное население.
Интересно, если взять двух пациентов со вскрытыми черепными коробками и уложить их таким образом, чтобы их открытые поверхности коры головного мозга соприкасались. Позволит ли это мыслям и чувствам перетекать от одного человека к другому?
Или более простой эксперимент – внедрить в мозг двух испытуемых одинаковые имплантаты в одинаковые участки мозга и… соединить их между собой. Получим ли мы некий «нейротелефон»?
Между тем, есть гораздо более простые и функциональные способы помочь людям, у которых проблемы с речью. Если пациент может двигать пальцем, он может печатать сообщения азбукой Морзе. Если он способен только двигать глазами, то можно использовать программное обеспечение для отслеживания взгляда на смартфоне. Эти устройства очень дёшевы, гораздо дешевле имплантата за 100 000$.