Наушники, обнаруживающие мимику лица даже под маской

Исследователи изобрели наушники, которые могут непрерывно отслеживать полные мимические выражения, наблюдая за контуром щек — и затем переводить выражения в эмодзи или беззвучные речевые команды. С ушным устройством (названным C-Face) пользователи могли бы выражать эмоции онлайн-коллегам без удержания камер перед своими лицами — особенно полезный инструмент общения, поскольку большая часть мира занимается удаленной работой или обучением.

Устройство проще, менее навязчивое и более способное, чем существующие ушные носимые технологии для отслеживания мимических выражений. В предыдущей носимой технологии, направленной на распознавание мимических выражений, большинство решений требовали прикрепления датчиков к лицу; даже с таким большим инструментарием они могли распознавать только ограниченный набор дискретных мимических выражений.

С C-Face, аватары в виртуальной реальности могли бы выражать то, как их пользователи на самом деле чувствуют, и инструкторы могли бы получать ценную информацию о вовлеченности студентов во время онлайн-уроков. Это также может использоваться для управления компьютерной системой, такой как музыкальный плеер, используя только мимические подсказки. Потому что оно работает за счет обнаружения мышечного движения, C-Face может захватывать мимические выражения даже когда пользователи носят маски.

Устройство состоит из двух миниатюрных RGB-камер — цифровых камер, захватывающих красные, зеленые и синие полосы света — позиционированных под каждым ухом с наушниками или вкладышами. Камеры записывают изменения в лицевых контурах, вызванные движением лицевых мышц. При выполнении мимического выражения лицевые мышцы растягиваются и сокращаются, толкая и тяня кожу и влияя на напряжение близлежащих лицевых мышц. Этот эффект вызывает изменение контура щек (контуров) с точки зрения уха.

После захвата изображений они реконструируются с использованием компьютерного зрения и модели глубокого обучения. Поскольку исходные данные в 2D, сверточная нейронная сеть — вид модели искусственного интеллекта, хороший в классификации, обнаружении и извлечении изображений — помогает реконструировать контуры в выражения. Модель переводит изображения щек в 42 точки лицевых особенностей, или ориентиров, представляющие формы и позиции рта, глаз и бровей, поскольку эти особенности наиболее затронуты изменениями в выражении.

Из-за ограничений, вызванных пандемией COVID-19, исследователи могли тестировать устройство только на девяти участниках. Они сравнили его производительность с передовой библиотекой компьютерного зрения, которая извлекает ориентиры лица из изображения полного лица, захваченного фронтальными камерами. Средняя ошибка реконструированных ориентиров была менее 0,8 мм.

Эти реконструированные мимические выражения, представленные 42 точечными особенностями, также могут быть переведены в восемь эмодзи, включая «естественный» и «злой», а также в восемь беззвучных речевых команд, предназначенных для управления музыкальным устройством, такими как «play», «next song» и «volume up».

Способность управлять устройствами с помощью мимических выражений может быть полезна для работы в общих рабочих пространствах, например, где люди могут не хотеть беспокоить других, говоря вслух. Перевод выражений в эмодзи может помочь тем, кто в коллаборациях виртуальной реальности, общаться более плавно.

Одно ограничение C-Face — ограниченная емкость батареи наушников. Как следующий шаг, команда планирует работать над сенсорной технологией, использующей меньше энергии.