ЭФФЕКТИВНОСТЬ ИНТЕРФЕЙСОВ МОЗГ-КОМПЬЮТЕР НА ОСНОВЕ ПРЕДСТАВЛЕНИЯ ДВИЖЕНИЙ С ТАКТИЛЬНОЙ И ВИЗУАЛЬНОЙ ОБРАТНОЙ СВЯЗЬЮ

Аннотация:

Выполнено исследование по сравнению эффективности работы 5 здоровых испытуемых в контуре интерфейса мозг-компьютер (ИМК) на основе представления движения с тактильной и визуальной обратной связью (ОС). В качестве визуальной ОС использовалась вертикальная полоска зелёного цвета от центра фиксационного крестика до края экрана. Тактильная ОС осуществлялась с помощью микровибромоторов, устанавливаемых на предплечья правой и левой руки, а также сзади на шею испытуемого для сигнализации об успешном распознавании паттернов ЭЭГ представления движений правой, левой руки и задачи "покой" соответственно. Точность распознавания при классификации трех состояний (представление движений правой, левой рукой и задача "покой") в контуре ИМК без обратной связи для всех испытуемых превысила случайный уровень (33% для трех состояний) и была достаточно высокой - 67.8% ± 13.4% (Mean ± SD). Включение визуальной и тактильной ОС в контур ИМК не изменило статистически значимо точность распознавания ментальных задач в среднем для всех испытуемых (70.5% ± 14.8% для визуальной и 65.9% ± 12.4% для тактильной обратной связи). Исследование динамики формирования навыка представления движений у пользователей ИМК на основе представления движения при тактильной и визуальной обратной связи также не выявил достоверных различий между типами ОС. Таким образом, показано, что тактильная обратная связь может быть использована в контуре ИМК на основе представления движения взамен обычно используемой визуальной обратной связи, что существенно расширяет возможности практического применения ИМК на основе представления движения. Ключевые слова: интерфейс мозг-компьютер, ЭЭГ, представление движений, классификация паттернов, сенсомоторный, р-ритм, реабилитация, инсульт. Технология интерфейсов мозг-компьютер (ИМК) позволяет человеку научиться мысленными усилиями формировать специфические паттерны ЭЭГ, которые можно затем трансформировать в команды для внешних исполнительных устройств. Таким образом, человек получает способ управления этими устройствами и возможность коммуникации с внешним миром без посредства нервов и мышц, напрямую от мозга. В настоящее время нейроинтерфейсные технологии наиболее востребованы в области реабилитационной медицины для использования пациентами с тяжелыми нарушениями речи и движений с целью замещения утраченной коммуникации и управления экзоскелетами и сервисными устройствами посредством мысленных усилий. Наряду с этим все большее распространение получают нейроинтерфейсные технологии для восстановления двигательной функции посредством идеомоторной тренировки, т.е. путем многократного мысленного представления движений. В исследованиях последнего времени показано, что мысленное представление движения сопровождается увеличением корково-спинальной возбудимости , что может быть основой для включения пластических перестроек и восстановления механизмов двигательного контроля. Роль нейроинтерфейсов в идеомоторном тренинге заключается в детектировании паттернов ЭЭГ, сопряженных с мысленным представлением движения (MI-BCI, motor imagery based brain-computer interface) и формированием на этой основе обратной сигнализации об эффективности мысленного образа . Было показано, что постинсультные пациенты способны успешно представлять разнообразные движения парализованными частями тела . Однако технология MI-BCI является достаточно сложной для освоения даже для здорового человека, не говоря уже о постинсультных пациентах, и потому требует тщательной разработки протоколов тренировки и контуров MI-ВС/, для того чтобы обеспечить высокий уровень вовлеченности пациента в процессы идеомо-торной тренировки и формирования устойчивого навыка представления движения . Одним из важнейших подходов для оптимизации MI-ВС/ является отработка наилучших вариантов обратной связи . Наиболее распространённый и хорошо изученный тип обратной связи в MI-BCI — это зрительная обратная связь (ОС) . Зрительная ОС, конечно, создает дополнительную нагрузку на зрительную систему, что может не только отвлекать человека от моторного представления, но и создавать дополнительные паттерны в записи ЭЭГ, ухудшая возможность дальнейшей классификации состояний . В этой связи представляется перспективной разработка и исследование нейроинтерфейсной обратной связи не зрительной модальности. К настоящему времени выполнено несколько исследований по сравнению ОС различных модальностей . В частности, использование сигналов ОС аудиальной модальности подразумевает использование звуковых стимулов, градуированных по громкости, длительности, а также их сочетание . Помимо этого, не зрительные стимулы могут нести некоторую семантическую нагрузку . Использование аудиальной модальности для ИМ К получило распространение и в экспериментах с позиционированием звуковых источников в пространстве . В последнее время появились исследования по созданию контура ОС на основе тактильной (вибро-) стимуляции в рамках моторно-воображае-мых ИМК, в основном представленные группой под руководством J.R. Millan . Было показано, что замена стандартной визуальной ОС на вибротактильную ОС в MI-BCI не препятствует регистрации паттернов ЭЭГ , а также не оказывает отрицательного влияния на точность классификации . С другой стороны, было отмечено, что такая замена снижает нагрузку на зрительно-мо-торную деятельность при отслеживании множественных объектов . Также было показано, что в контуре MI-BCI с тактильной ОС оператор может уделять больше внимания задаче, а не обратной связи , а в работе операторы достигли более высоких результатов в точности классификации MI-BCI с тактильной ОС. В работе на примере шести здоровых испытуемых и двух пациентов, перенесших инсульт, было показано, что тактильная ОС значительно повышает точность при декодировании представлений движений. Также следует отметить интересную работу, посвященную созданию системы с открытым кодом для реабилитации NeuRow, представляющую собой MI-BCI с виртуальной реальностью и вибро-тактильной ОС . В некоторых работах вибромоторы располагались в районе шеи . Кроме того, в части исследований в качестве ОС изучалась непрерывная тактильная стимуляция . Однако при имеющемся разнообразии работ с применением разных типов ОС в контуре ИМК очень мало исследований посвящено сравнительным испытаниям ОС в разных модальностях. Цель работы — сравнение эффективности ИМК на основе представления движения с тактильной и визуальной ОС и изучение динамики формировании навыка представления движений у пользователей ИМК на основе представления движения при тактильной обратной связи. МЕТОДИКА В исследовании приняли участие 5 здоровых ис-пытуемых-добровольцев (3 женщины и 2 мужчины) в возрасте 18—23 лет. Все испытуемые ранее не имели опыта операторов ИМК и были праворукими (медиана 0.7 балла согласно опроснику мануальной асимметрии по ). Все испытуемые подписывали информированное согласие на участие в исследовании. Протокол исследования был одобрен этической комиссией Института биологии и биомедицины ННГУ имени Н.И. Лобачевского. Регистрация ЭЭГ осуществлялась с помощью энцефалографа NVX52 относительно референтных электродов, расположенных на мастоидах. Заземляющий электрод располагался на лбу. Контактное сопротивление для всех электродов не превышало 10 КОм. ЭЭГ фильтровалась в частотном диапазоне 1—30 Гц с AWc/г-фильтром 50 Гц и оцифровывалась с частотой дискретизации сигнала 1000 Гц. Структура исследования. Каждый испытуемый принял участие в двух экспериментальных сессиях. В начале каждой сессии проводился контроль самочувствия, активности и настроения испытуемого по тесту Доскина (тест САН . Во время эксперимента испытуемый располагался в комфортном кресле с подлокотниками и подставкой для ног. Экспериментальная сессия состояла из 10—15 записей, входе которых испытуемый с короткими паузами непрерывно исполнял череду ментальных задач в ответ на командные пиктограммы в виде изображения руки или картинки фона, предъявляемые на ЖК мониторе (диагональ 19 дюймов), расположенном на расстоянии 2 м от глаз. В качестве ментальных задач было выбрано мысленное представление испытуемым движений рук и задача "покой", во время которой испытуемому рекомендовалось расслабиться и фокусировать внимание на дыхании. В одной записи комбинировалось 3 типа стимулов — представление движения левой рукой, представление движения правой рукой и "покой". Целью первой сессии было ознакомить испытуемого с методикой представления движения, в которой основным было акцентирование внимания на тактильных ощущениях. Испытуемому предлагалось выбрать любое движение рукой, комфортное, по его мнению, для воображения. В качестве примеров приводились "перебор пальцами" и вращение кисти руки в лучезапястном суставе. Длительность предъявления командных пиктограмм составляла 5 с с межстимульным интервалом в 3 с. В течение записи для каждой ментальной задачи в случайном порядке предъявлялось по 10 стимулов. Успешность освоения методики воображаемых движений определялась по степени десинхро-низации сенсомоторного ритма (см. раздел Оценка степени десинхронизации сенсомоторного ритма). При уменьшении мощности спектра ЭЭГ (десинхронизации) при воображаемом движении на величину более 50% от исходного уровня испытуемый считался успешно освоившим методику воображаемых движений. В случае нескольких неудачных попыток процедура повторялась со сменой типа воображаемого движения. По истечении 2-х ч, если испытуемый не справлялся с освоением методики, экспериментальная сессия прекращалась и повторялась в другой экспериментальный день по такому же протоколу. Испытуемые, успешно освоившие методику воображаемых движений, допускались на вторую сессию эксперимента, в которой в контур нейроинтерфейса подключались визуальная и тактильная обратные связи. В начале сессии испытуемому разъяснялись типы обратных связей, применяемых в эксперименте. В качестве визуальной обратной связи во время записи для каждого типа ментальной задачи на экране предъявлялась вертикальная полоска зелёного цвета от центра фиксационного крестика до края экрана. Тактильная обратная связь осуществлялась с помощью вибромоторов (плоские LRA (линейный резонансный привод) без эксцентрика, ЗВ, диаметр 10 мм), устанавливаемых на предплечья правой и левой руки, а также сзади на шею для сигнализации об успешном распознавании паттернов ЭЭГ представления движений правой руки, левой руки и задачи "покой" соответственно. Вибромоторы фиксировались на коже при помощи лент-липучек. Для подтверждения правильно классифицированного состояния подавался вибрационный сигнал длительностью 500 мс. Подтверждение давалось в конце команды (через 4.5 с после начала предъявления пиктограммы на экране) только в случае её верного распознавания. Вторая экспериментальная сессия представляла собой всего 12 записей: по 4 записи для каждого типа обратной связи и 4 записи без обратных связей (которые использовались в качестве контроля). Порядок используемого типа обратной связи определялся случайным образом. В каждой записи предъявлялось по 30 стимулов (по 10 для каждой ментальной задачи), длительностью по 5 с с межстимульным интервалом 3 с. При этом фиксировалась точность распознавания команд как отношение правильно распознанных команд к общему числу предъявленных стимулов. Кроме того, для каждой команды вычислялась степень десинхронизации в диапазоне сенсомоторного ритма. Для анализа ЭЭГ на фоне каждого состояния (представление движения правой рукой; левой рукой; "покой") использовался временной интервал, соответствующий длительности периода отображения стимула. Для анализа и классификации ЭЭГ паттернов, соответствующих каждой ментальной задаче, использовались спектральные характеристики сигнала в выделенных эпохах. Классификация паттернов. Для выделения признаков, значимых для классификации паттернов ЭЭГ, последняя фильтровалась в полосе 6-26 Гц, с последующим расчетом индивидуального пространственного CSP фильтра . Собственно классификация проводилась с использованием метода линейного дискриминантного анализа. Для уменьшения размерности данных при классификации применялся метод главных компонент, который был сведен к вычислению сингулярного разложения матрицы данных. Данный метод без вычисления ковариационной матрицы и ее спектра более эффективен и устойчив . Для реализации математических алгоритмов классификации были использованы инструменты библиотек для языка программирования Python (CSP из библиотеки MNE , Linear Discriminant Analysis из библиотеки sklearn). В качестве показателя точности классификации использовалась вероятность верной классификации, рассчитываемая как отношение правильно классифицированных задач к общему числу задач. Оценка степени десинхронизации сенсомоторного ритма. Для оценки степени десинхронизации сенсомоторного ритма при представлении движений за референтное состояние принимались паттерны, соответствующие задаче "покой". Полученная запись ЭЭГ по всем каналам подвергалась пространственной фильтрации с помощью фильтра "Поверхност ный Лапласиан" (Surface Laplacian ). Далее дл$ каждого канала строилась спектральная плотност] мощности с шагом 1 Гц и рассчитывалась десинхро низация как разность мощностей сигнала при пред ставлении движения и сигнала "покой" отнесенна> к мощности сигнала соответствующей задаче "по кой". Для каждого канала из диапазона 7-16 Гц выбиралась частота с максимальной десинхронизациеь и эти значения наносились на карту поверхностг коры больших полушарий. Таким образом, картировалась степень изменения спектральной плотностг мощности при состоянии представления движения по сравнению с состоянием "покой". Полученные данные использовались для оценки успешности освоения навыка воображаемых движений на первом этапе эксперимента и для оценки влияния различных видов ОС на степень десинхронизации во втором и третьем этапах. Статистический анализ. Для оценки индивидуальных различий в точности классификации паттернов ЭЭГ при использовании различных видов ОС использовался критерий Фишера, реализованный в пакете "stats" для языка программирования ЯЗ.3.2 . Для коррекции ошибки множественного сравнения использовалась поправка Бонферрони. Во всех остальных случаях использовался дисперсионный анализ (ANOVA), реализованный в пакете "ег" . РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ИХ ОБСУЖДЕНИЕ Все испытуемые прошли первую сессию эксперимента, показав десинхронизацию выше 50% при воображении движений на электродах С3 и С4. У четырёх испытуемых максимальная степень десинхронизации наблюдалась на частоте 12 Гц, у одного - 14 Гц. Большинство испытуемых в качестве воображаемого движения выбрали "перебор пальцами". Ни один из испытуемых не выразил желания сменить тип воображаемого движения в процессе эксперимента. На второй сессии эксперимента были получены оценки точности классификации для разных типов обратных связей 3 таблице представлены результаты по оценке точности классификации для разных типов обратных связей для всех испытуемых. Указана точность классификации в процентах. Точность классификации рассчитывалась как отношение правильно классифицированных команд к общему числу команд. Статистически значимыми считались различия при уровне значимости р < 0.05 (критерий Фишера с поправкой Бонферрони на множественные сравнения). Из таблицы видно, что у трех из 5 испытуемых не было обнаружено различий в точности классификации при использовании различных вариантов ОС. У одного испытуемого (OL) использование тактильной ОС привело к снижению точности классификации. Ещё одному испытуемому (DB) использование визуальной обратной связи позволило повысить процент правильных распознаваний классификатором команд, по сравнению с контролем и тактильной ОС. При исследовании динамики оценок вероятности верной классификации от номера записи при разных типах ОС (рис. 2) не было выявлено статистически достоверных различий (F(6.24) = 2.281; р — 0.070). Несмотря на это, нужно заметить, что субъективные оценки испытуемых говорят о непривычности тактильного типа ОС при первой записи. Однако все испытуемые уже ко второй записи смогли приспособиться к данному типу ОС, о чем свидетельствует график на рис. 2.Для анализа различий в степени десинхронизации между использованными типами ОС были выбраны электроды С3 и С4, так как именно на этих электродах у всех испытуемых наблюдался максимум десинхронизации при работе в контуре ИМК на всех этапах эксперимента (рис. 3). Динамика изменения степени десинхронизации от номера записи анализировалась для электрода С3 при воображаемом движении правой рукой и для электрода С4 при воображаемом движении левой рукой и представлена на рис. 4. Как видно из рис. 3 и 4, в проведенном исследовании достоверной разницы между типами ОС и в динамике изменения степени десинхронизации не было обнаружено. На топографических картах степени десинхронизации, усреднённых для всех испытуемых (рис. 5), видно, что воображаемое движение правой рукой вызывало контралатеральную десинхро-низацию с максимумом в районе электрода С3 вне зависимости от типа используемой ОС. Воображаемое движение левой рукой вызывало как контра-, так и ипсилатеральную десинхронизацию. Вероятно, это связано с тем, что все испытуемые были правшами. ЗАКЛЮЧЕНИЕ. Полученные результаты в целом соответств известным из литературы данным, где исследуется вибротактильная обратная связь в контуре ИМК с целью разгрузки визуального канала обратной связи . Выяснилось, что наилучшие результаты в рабо~ с ИМК получаются при совместном использова нии визуального и тактильного каналов, когда ви брационная ОС конгруэнтна воображаемому дви жению, т.е. вибрационный стимул подается на соответствующую представлению руку. Это взаимодействие известно как control-display mapping Например, когда представление о движении пра вой руки распознано, тактильный стимул, приложенный к правой части тела, окажется более эф фективным (т.е. будет положительно сказываться на выполнении команды и формировании опыта, чем аналогичный, приложенный слева). Сравнение эффективности работы испытуемых в контуре ИМК с визуальной и тактильной ОС показало, что оба варианта ОС приводят примерно к одинаковому характеру исполнения задач в контексте ИМК, что показано и в работах других авторов . Тактильной ОС, несмотря на популярность в других типах И М К, не уделялось достаточно внимания при разработке нейроинтерфейсов на основе представления движений. Между тем решающим преимуществом тактильной ОС является, во-первых, возможность применения этой технологии в медицине для пациентов с нарушением зрительного восприятия, и, во-вторых, тактильная ОС полностью исключает, возможно, негативную интерференцию визуальной обратной связи с необходимым по регламенту мысленным представлением движения. Таким образом, показано, что тактильная обратная связь может быть использована в контуре ИМК на основе представления движения взамен обычно используемой визуальной обратной связи, что существенно расширяет возможности практического применения ИМК на основе представления движения. Однако неожиданным результатом работы явился тот факт, что после некоторой тренировки испытуемого наличие ОС вне зависимости от ее типа уже не влияет на точность классификации при работе в ИМК на основе представления движения, хотя согласно отчетам испытуемых наличие ОС создает для них более комфортные условия для выполнения тестов при работе в контуре ИМК.

Авторы:

Издание: Физиология человека
Год издания: 2018
Объем: 9с.
Дополнительная информация: 2018.-N 3.-С.53-61. Библ. 41 назв.
Просмотров: 100