От обычных к умным: HeadFi превращает обычные наушники в многофункциональные мониторы здоровья

Разница между умными и обычными наушниками в том, что умные выходят за рамки воспроизведения музыки — они могут быть физиологическими мониторами и виртуальными сенсорными экранами. Сяоран Фан, будучи докторантом в Рутгерсском университете, возглавил команду исследователей, разработавших метод под названием HeadFi, который использует обычные наушники как сенсоры.

Tech Briefs: Как начался этот проект?

Сяоран Фан: Я аудиофил, поэтому мне интересны наушники. Хотя простые прямые наушники используются для применений вроде студийных микшеров и домашнего аудио, недавно мы видим умные наушники от Apple, Samsung и Microsoft.

Мы всегда знали, что драйверы в наушниках в принципе работают похоже на микрофоны, так что в некотором смысле они взаимны. Поскольку микрофоны могут чувствовать сигналы, это значит, что наушники по умолчанию тоже могут это делать. Так что, хотя у наушников был потенциал быть умными, никто еще не использовал этот IQ. Это был первоначальный стимул, который заставил меня двигаться в этом направлении. Плюс, мой советник, Рич Ховард, потратил жизнь на измерения малых сигналов, поэтому когда я поговорил с ним об этой идее, он указал на некоторые методы, которые я мог бы попробовать. Тогда я нырнул и после множества исследований и экспериментов мы смогли опубликовать статью о нашей работе.

Tech Briefs: Как наушники используются как микрофоны?

Фан: Сам драйвер сложен — у него есть сопротивление, емкость и индуктивность — это сложная импедансная система. Точная технология зависит от типа наушников, но в основном все они — просто преобразователи, конвертирующие электрические сигналы в механические. Эти преобразователи в принципе могут быть заставлены работать в обратном направлении. Механические сигналы могут вибрировать диафрагму, которая двигала бы катушку голоса вперед и назад для генерации электрических сигналов; так что в принципе они взаимны.

Но проблема в том, что наушники оптимизированы для воспроизведения музыки — музыкальный сигнал доминирует. Хотя вы можете записать возбуждающий сигнал снаружи одновременно, он может быть в 1000 раз меньше музыкального сигнала. Так что вызов был в том, как сделать задачу сенсирования, пока наушник все еще играет музыку. Если мы не можем это сделать и пользователю нужно остановить музыку, чтобы использовать функцию сенсирования, то это не полезно.

Поэтому мы сделали что-то очень интересное. Наушники идут парами, с левым и правым драйверами. Мы воспользовались тем фактом, что наушники производятся так, чтобы левый и правый драйверы соответствовали друг другу. Это значит, что звуковые сигналы в них сбалансированы. Мы можем поэтому использовать входной сигнал от левого драйвера для отмены входного сигнала от правого драйвера, используя тот факт, что мы знаем точный музыкальный сигнал, который мы играем для обоих каналов. Если, следовательно, есть разница между выходами левого и правого драйверов, вычитание выходов даст разностный сигнал.

Допустим, я говорю — оба наушника уловят мой голос, но голос от моего рта к левому драйверу и голос от моего рта к правому драйверу распространяются через разные каналы. Физический канал между моим голосом и моим левым ухом и тот, между моим голосом и правым ухом, не одинаковы. Это потому, что мои кости и ткани структурированы по-разному слева направо.

Так что, если вы делаете вычитание, будет разница между левым и правым драйверами, которую можно уловить. Это вычитание отменяет музыкальные сигналы, но позволяет нам уловить дифференциальный сенсорный сигнал. Мы можем использовать этот маленький кусочек информации для чего-то сделать.

Tech Briefs: Можете ли вы объяснить, как вы могли использовать наушники для измерения таких вещей, как идентификация пользователя; мониторинг частоты сердечных сокращений; и распознавание жестов.

Фан: Мы на самом деле представили четыре приложения в нашей статье: распознавание жестов, мониторинг частоты сердечных сокращений, идентификация пользователя, и также — самое простое — голосовая связь.

Возьмем мониторинг частоты сердечных сокращений как пример. Когда вы спешите, ваше сердце качает — оно производит механическую вибрацию по всему телу, которую наушники могут уловить.

Но как и с голосом, каналы от вашего сердца к левому наушнику и к правому наушнику разные. Прогоняя разностный сигнал через наш алгоритм, мы можем найти период вашей частоты сердечных сокращений.

Что касается распознавания жестов, допустим, вы постукиваете или касаетесь правого корпуса наушников. Правый драйвер получит тактильный сигнал, но левый получит гораздо более слабый тактильный сигнал. После вычитания вы узнаете фазу. Если восходящий фронт в одном направлении, это значит, что это правый телефон, если восходящий фронт в другом направлении, это прикосновение к левому.

Но есть другие более продвинутые способы определить жест. Например, сигнал, производимый царапанием, будет более сложным. В этом случае вы можете применить некоторые методы глубокого обучения, чтобы выучить паттерн сигнала для идентификации жеста.

Но я думаю, самое интересное приложение — идентификация пользователя. То, как это работает, заключается в том, что наушник генерирует свайп-сигнал — проводит вверх по частотному диапазону и посылает сигнал в ваше ухо. Сигнал распространяется через ваш слуховой проход, отражается обратно и улавливается тем же драйвером наушника, который его сгенерировал. Левый и правый драйверы оба улавливают сигнал и делают вычитание. Интересная часть в том, что у каждого уха разная структура слухового прохода — это как отпечаток пальца — так что эхо, полученное наушниками, будет разным для каждого. Что делает это еще более интересным, так это то, что для каждого левый и правый слуховые проходы разные, так что если вы делаете вычитание, есть разностный сигнал. И эта разница также разная от человека к человеку — даже между однояйцевыми близнецами. Мы делали эксперименты с однояйцевыми близнецами и имели более 95% успеха. Я думаю, это крутая часть приложения.

Tech Briefs: Почему вы используете высокочастотный сигнал?

Фан: Причина, по которой мы генерируем высокую частоту, в том, что это как КТ-сканирование — ультразвуковое КТ-сканирование. Мы проводим диапазон частот, потому что наш слуховой проход имеет разные структуры, которые более высокие частоты могут исследовать с лучшим разрешением, чтобы идентифицировать уникальную форму конкретного слухового прохода. Мы сканируем частоты, чтобы найти ту, которая дает нам лучшие результаты для того уха.

Tech Briefs: Как вы генерируете свайп-сигнал?

Фан: Генератор чирпа включен в наше ПО.

У нас полностью автоматизированный процесс. Есть два шага. Первый шаг — обнаружить, находят ли ваши наушники на вашей голове, затем вы запускаете приложение.

Мы используем интересный трюк, чтобы проверить, находят ли наушники на вашей голове. Это основано на эффекте раковины. Когда вы ходите по берегу, если вы подбираете раковину и прижимаете ее близко к уху, вы слышите что-то вроде шума моря. Это потому, что раковина и ваш слуховой проход формируют полузакрытое пространство, которое резонирует и усиливает какую-то частоту.

То же самое с наушниками. Когда у вас наушники на ухе, какая-то частота была усилена, и мы можем обнаружить, на ли у вас наушник на ухе, просто глядя на силу сигнала на различных частотах. Если наушник на вашей голове, мы начинаем посылать чирп.

Но мы не ограничены этими четырьмя приложениями. Мы могли бы также делать измерения вроде подсчета шагов и мониторинга дыхания.

Tech Briefs: Как бы вы знали, является ли вход от шагов или от дыхания?

Фан: Сигналы были бы разными друг от друга, так что вы могли бы использовать модель глубокого обучения, чтобы отличить их.

Это также могло бы использоваться для ухода за пожилыми. Оно могло бы распознать, если человек упал, так что мы должны вызывать 911. Мы также планируем поработать над этим.

Основной интеллектуальный вклад нашего проекта — мы представили платформу, которая может сделать стоковые наушники умными, что позволяет ряд возможных приложений. На высоком уровне эта технология может обеспечить повсеместный человеко/наушник/сеть интерфейс, потому что так много существующих «глупых» наушников там могли бы выиграть от HeadFi.

Tech Briefs: Когда вы говорите платформа, вы имеете в виду ПО?

Фан: Это программно-аппаратное решение. Аппаратная часть — это Витстонов мост для отмены между левым и правым драйверами. После этого нам нужно сделать обработку сигналов для задач вроде классификации, включая поддержку векторных машин или фреймворков глубокого обучения. Так что, хотя это комбинированное программно-аппаратное решение, аппаратная часть может быть экстремально простой — простой как всего два резистора.

Tech Briefs: У вас есть адаптер, который вы вставляете?

Фан: Да, это наш текущий прототип аппаратной части.

Tech Briefs: А потом вам нужно спроектировать приложение для загрузки в смартфон?

Фан: Да, адаптер, который мы сейчас используем, имеет USB Type C соединение, что довольно часто встречается с наушниками и мобильными телефонами прямо сейчас.

Tech Briefs: У вас есть приблизительная идея, когда это может стать коммерциализированным?

Фан: Мы используем сайт центра коммерциализации Рутгерса для поиска партнера в данный момент и исследуем потенциальных партнеров вроде Apple, Samsung или Microsoft. Мы также разрабатываем улучшенную аппаратную часть, так как наш текущий адаптер — просто открытая печатная плата. До сих пор мы смогли уменьшить размер платы в данный момент до 3 см x 2 см. Мы целимся сделать его plug-and-play и также пишем Android-софт, чтобы сделать его легко демонстрируемым.

Отредактированная версия этого интервью появилась в мае 2021 года в выпуске Tech Briefs.