Кожно-подобный сенсор позволяет больным ВЛС общаться через микроскопические движения лица

Люди с амиотрофическим боковым склерозом (ВЛС) страдают от постепенного упадка способности контролировать мышцы. В результате они часто теряют способность говорить, что затрудняет общение с другими. Команда исследователей разработала эластичное, кожно-подобное устройство, которое можно прикрепить к лицу пациента для измерения малых движений, таких как дерганье или улыбка. С помощью этого подхода пациенты могут передавать разнообразные чувства с малыми движениями, которые измеряются и интерпретируются устройством.

Исследователи надеются, что устройство позволит пациентам общаться более естественным способом, без громоздкого оборудования. Мягкий, одноразовый, носимый сенсор тонкий и может быть замаскирован макияжем под любой тон кожи, делая его незаметным. Первоначальная версия устройства была протестирована на двух пациентах с ВЛС и показала, что она может точно различать три разных мимических выражения — улыбку, открытый рот и сжатые губы.

Устройство состоит из четырех пьезоэлектрических сенсоров, встроенных в тонкую силиконовую пленку. Сенсоры, сделанные из нитрида алюминия, могут обнаруживать механическую деформацию кожи и преобразовывать её в электрическое напряжение, легко измеряемое. Все эти компоненты легко производить в массе, поэтому исследователи оценивают стоимость каждого устройства около $10.

Команда использовала процесс, называемый цифровой корреляцией изображений, на здоровых волонтерах, чтобы выбрать наиболее полезные места для размещения сенсора. Они наносили случайный черно-белый пестрый узор на лицо, а затем делали много снимков области несколькими камерами, пока субъекты выполняли мимические движения: улыбались, дергали щеку или изображали форму определенных букв. Изображения обрабатывались программным обеспечением, анализирующим, как малые точки движутся относительно друг друга, чтобы определить величину деформации в отдельной области.

Они также использовали измерения деформаций кожи для обучения алгоритма машинного обучения различать улыбку, открытый рот и сжатые губы. С помощью этого алгоритма они тестировали устройства с двумя пациентами ВЛС и достигли около 75% точности в различии этих движений. Точность у здоровых субъектов составляла 87%.

Основываясь на этих обнаруживаемых мимических движениях, можно создать библиотеку фраз или слов, соответствующих различным комбинациям движений. Технически можно создать тысячи сообщений. Информация с сенсора передается в портативный блок обработки, который анализирует её с помощью алгоритма, обученного различать мимические движения. В текущем прототипе этот блок подключен проводом, но соединение также может быть беспроводным для удобства.

Помимо помощи в общении, устройство также может использоваться для отслеживания прогрессирования заболевания пациента или измерения того, оказывают ли получаемые лечения какой-либо эффект.