Наушники отслеживают выражение лица даже в маске

Исследователи изобрели наушники, которые могут непрерывно отслеживать полное выражение лица, наблюдая за контуром щек, а затем могут переводить выражения в смайлики или безмолвные речевые команды. С помощью ушного устройства (называемого C-Face) пользователи могут выражать эмоции онлайн-сотрудникам, не поднося камеры к их лицам. Это особенно полезный инструмент общения, поскольку большая часть мира занята удаленной работой или обучением.

Это устройство проще, менее навязчиво и обладает большей функциональностью, чем существующие носимые устройства для отслеживания выражения лица. В предыдущих носимых технологиях, направленных на распознавание выражений лица, в большинстве решений требовалось прикреплять датчики к лицу; даже с таким количеством инструментов они могли распознавать лишь ограниченный набор дискретных выражений лица.

С помощью C-Face аватары в средах виртуальной реальности могут выражать то, что на самом деле чувствуют их пользователи, а преподаватели могут получать ценную информацию о вовлеченности учащихся во время онлайн-уроков. Его также можно использовать для управления компьютерной системой, например музыкальным проигрывателем, используя только сигналы лица. Поскольку C-Face распознает движения мышц, он может фиксировать выражение лица, даже когда пользователи носят маски.

Устройство состоит из двух миниатюрных RGB-камер — цифровых камер, которые улавливают красные, зеленые и синие полосы света — расположенных под каждым ухом с наушниками или наушниками. Камеры фиксируют изменения контуров лица, вызванные движением лицевых мышц. При выполнении мимики мимические мышцы растягиваются и сокращаются, толкая и натягивая кожу и воздействуя на напряжение близлежащих мимических мышц. Этот эффект приводит к изменению очертания щек (контуров) с точки зрения уха.

После захвата изображений они реконструируются с использованием компьютерного зрения и модели глубокого обучения. Поскольку необработанные данные находятся в 2D, сверточная нейронная сеть — своего рода модель искусственного интеллекта, которая хороша в классификации, обнаружении и извлечении изображений — помогает преобразовать контуры в выражения. Модель преобразует изображения щек в 42 точки черт лица, или ориентиры, представляющие форму и положение рта, глаз и бровей, поскольку эти черты больше всего подвержены влиянию изменений выражения.

Из-за ограничений, вызванных пандемией COVID-19, исследователи смогли протестировать устройство только на девяти участниках. Они сравнили его производительность с современной библиотекой компьютерного зрения, которая извлекает ориентиры лица из изображения лица в полный рост, снятого фронтальными камерами. Средняя ошибка реконструированных ориентиров составила менее 0,8 мм.

Эти реконструированные выражения лица, представленные 42 характерными точками, также могут быть переведены в восемь смайликов, включая «естественный» и «сердитый», а также в восемь безмолвных речевых команд, предназначенных для управления музыкальным устройством, таких как «воспроизведение», «следующая песня» и « погромче».

Возможность управлять устройствами с помощью выражения лица может быть полезна для работы в общих рабочих пространствах, например, когда люди не хотят беспокоить других, говоря вслух. Перевод выражений в смайлики может помочь тем, кто сотрудничает в виртуальной реальности, более эффективно общаться.

Одним из ограничений C-Face является ограниченная емкость аккумулятора наушников. В качестве следующего шага команда планирует разработать сенсорную технологию, которая потребляет меньше энергии.