Продвинутый наладонный кожный сенсор переводит движения пальцев в реальный 3D виртуальный рукой

Был разработан питаниемый одноканальный электронный кожный сенсор, который может захватывать человеческое движение с расстояния. Датчик деформации, помещенный на запястье, декодирует сложные движения пяти пальцев в реальном времени с виртуальной 3D рукой, зеркалящей оригинальные движения. Глубокая нейронная сеть, усиленная быстрым ситуационным обучением (RSL), обеспечивает стабильную работу независимо от её положения на поверхности кожи.

Традиционные подходы требуют множественных сенсорных сетей, покрывающих всю криволинейную поверхность целевой области. В отличие от традиционного wafer-based производства, это лазерное производство предоставляет новую сенсорную парадигму для отслеживания движения. Измерительная система извлекает сигналы, соответствующие множественным движениям пальцев, генерируя трещины в металлических нанопленочных пленках с использованием лазерной технологии. Сенсорный патч затем прикреплялся к запястью пользователя для обнаружения движения пальцев.

Концепция этого исследования началась от идеи, что определение одной области было бы более эффективным для идентификации движений, чем наклеивание сенсоров на каждый сустав и мышцу. Чтобы сделать эту стратегию таргетирования рабочей, она должна точно захватывать сигналы из разных областей в точке, где они все сходятся, а затем расшифровывать информацию, запутанную в сходимых сигналах. Для максимизации удобства и подвижности пользователей, исследовательская команда использовала одноканальный сенсор для генерации сигналов, соответствующих сложным движениям руки.

Система RSL собирает данные с произвольных частей на запястье и автоматически обучает модель в демонстрации в реальном времени с виртуальной 3D рукой, зеркалящей оригинальные движения. Для повышения чувствительности сенсора исследователи использовали лазерно-индуцированное наноразмасштабное трещинование.

Эта сенсорная система может отслеживать движение всего тела с малой сенсорной сетью и облегчать косвенное удаленное измерение человеческих движений, что применимо для носимых VR/AR систем. Исследовательская команда проанализировала паттерны сигналов сенсора в латентное пространство, инкапсулирующее временное сенсорное поведение, а затем отобразили латентные векторы в метрические пространства движений пальцев.

Система расширяема на другие части тела; например, она способна извлекать гаитовую динамику из таза. Эта технология ожидается, что найдет применения в мониторинге здоровья, отслеживании движений и мягкой робототехнике.