Вопросы и ответы:Платформа превращает наушники из тупых в умные

Разница между умными и тупыми наушниками в том, что умные не только играют музыку — они могут быть физиологическими мониторами и виртуальными сенсорными экранами. Сяоран Фан, будучи докторантом Университета Рутгерса, возглавлял группу исследователей, которые разработали метод под названием HeadFi, в котором в качестве датчиков используются обычные наушники.

Технические обзоры: Как начался этот проект?

Сяоран Фанат: Я меломан, поэтому меня интересовали наушники. Хотя для таких приложений, как студийные микшеры и домашнее аудио, используются простые наушники, в последнее время мы видим умные наушники от Apple, Samsung и Microsoft.

Мы всегда знали, что драйверы в наушниках в принципе работают аналогично микрофонам, так что в каком-то смысле они взаимны. Поскольку микрофоны могут воспринимать сигналы, это означает, что наушники по умолчанию также могут это делать. Таким образом, несмотря на то, что наушники могли быть умными, никто еще не использовал этот IQ. Это был первоначальный стимул, который подтолкнул меня в этом направлении. Кроме того, мой советник Рич Ховард всю жизнь занимался измерениями слабых сигналов, поэтому, когда я говорил с ним об этой идее, он указал на некоторые методы, которые я мог бы попробовать. Затем я погрузился в работу, и после долгих исследований и экспериментов мы смогли опубликовать статью о нашей работе.

Технические обзоры: Как наушники используются в качестве микрофонов?

Поклонник: Драйвер сам по себе сложен — у него есть сопротивление, емкость и индуктивность — это сложная система импеданса. Точная технология зависит от того, какой у вас тип наушников, но в основном все они представляют собой преобразователи, которые преобразуют электрические сигналы в механические. Эти преобразователи, в принципе, могут работать в обратном направлении. Механические сигналы могут вызывать вибрацию диафрагмы, которая будет перемещать звуковую катушку вперед и назад для генерации электрических сигналов; так что в принципе они взаимны.

Но проблема в том, что наушники оптимизированы для воспроизведения музыки — музыкальный сигнал доминирует. Хотя вы можете одновременно записать сигнал возбуждения извне, он может быть в 1000 раз меньше музыкального сигнала. Итак, задача заключалась в том, как выполнить задачу распознавания, пока наушники все еще играют музыку. Если мы не можем этого сделать и пользователю приходится останавливать музыку, чтобы использовать функцию распознавания, то это бесполезно.

Итак, мы сделали кое-что очень интересное. Наушники поставляются парами, с левым драйвером и правым драйвером. Мы воспользовались тем, что наушники изготавливаются таким образом, чтобы левый и правый драйверы совпадали друг с другом. Это означает, что звуковые сигналы в них сбалансированы. Таким образом, мы можем использовать входной сигнал от левого драйвера, чтобы отменить входной сигнал от правого драйвера, используя тот факт, что мы знаем точный музыкальный сигнал, который мы воспроизводим для обоих каналов. Следовательно, если есть разница между выходами левого и правого драйверов, вычитание выходов даст разностный сигнал.

Допустим, я говорю — два наушника будут улавливать мой голос, но голос из моего рта к левому динамику и голос из моего рта к правому динамику распространяются по разным каналам. Физический канал между моим голосом и левым ухом и канал между моим голосом и правым ухом не совпадают. Это потому, что мои кости и ткани устроены по-разному слева направо.

Итак, если вы сделаете вычитание, будет разница между левым и правым драйверами, которую можно будет зафиксировать. Это вычитание отменяет музыкальные сигналы, но позволяет нам зафиксировать разницу сигналов датчиков. Мы можем использовать этот небольшой фрагмент информации, чтобы что-то сделать.

Технические обзоры :Не могли бы вы объяснить мне, как вы можете использовать наушники для измерения таких вещей, как идентификация пользователя; мониторинг сердечного ритма; и распознавания жестов.

Поклонник :На самом деле мы представили в нашей статье четыре приложения:распознавание жестов, мониторинг сердечного ритма, идентификацию пользователя, а также — самое простое — голосовое общение.

Возьмем в качестве примера мониторинг сердечного ритма. Когда вы спешите, ваше сердце бьется — оно производит механическую вибрацию по всему телу, которую могут уловить наушники.

Но, как и в случае с голосом, каналы от вашего сердца к левому наушнику и к правому наушнику разные. Пропустив разностный сигнал через наш алгоритм, мы можем найти период вашего пульса.

Что касается распознавания жестов, скажем, вы нажимаете или прикасаетесь к правому корпусу наушников. Правый водитель получит сигнал касания, но левый получит гораздо более слабый сигнал касания. После того, как вы сделаете вычитание, вы узнаете фазу. Если нарастающий фронт в одном направлении, это означает, что это правый телефон. Если нарастающий фронт в другом направлении, это касание слева.

Но есть и другие, более продвинутые способы определения жеста. Например, сигнал, создаваемый царапиной, будет более сложным. В этом случае вы можете применить некоторые методы глубокого обучения, чтобы изучить шаблон сигнала для идентификации жеста.

Но я думаю, что самое интересное приложение — это идентификация пользователей. Принцип его работы заключается в том, что наушники генерируют сигнал пролистывания — прокручивая полосу частот вверх и отправляя сигнал в ваше ухо. Сигнал проходит через слуховой проход, отражается обратно и захватывается тем же драйвером наушников, который его сгенерировал. Левый и правый драйверы захватывают сигнал и выполняют вычитание. Интересно, что слуховой проход у всех разный — он похож на отпечаток пальца — это означает, что эхо, принимаемое наушниками, у всех будет разным. Что делает его еще более интересным, так это то, что у всех левый и правый слуховые проходы разные, поэтому, если вы сделаете вычитание, вы получите разностный сигнал. И эта разница также отличается от человека к человеку — даже между однояйцевыми близнецами. Мы проводили эксперименты с однояйцевыми близнецами, и у нас было более 95% успеха. Я думаю, что это классная часть приложения.

Технические обзоры :Почему вы используете высокочастотный сигнал?

Поклонник :Причина, по которой мы генерируем высокую частоту, заключается в том, что это похоже на компьютерную томографию — ультразвуковую компьютерную томографию. Мы прокручиваем диапазон частот, потому что наш слуховой проход имеет другую структуру, которую более высокие частоты могут исследовать с лучшим разрешением, чтобы определить отличительную форму конкретного слухового прохода. Мы сканируем частоты, чтобы найти ту, которая дает наилучшие результаты для этого уха.

Технические обзоры :Как вы генерируете сигнал развертки?

Поклонник :Генератор щебета включен в наше программное обеспечение.

У нас полностью автоматизированный процесс. Есть два шага. Первый шаг — определить, надеты ли ваши наушники на голову, а затем запустить приложение.

Используем интересный трюк, чтобы проверить, надеты ли наушники на голову. Он основан на эффекте морской раковины. Когда вы идете по берегу, если вы возьмете ракушку и прижмете ее к уху, вы услышите что-то вроде морского шума. Это потому, что морская раковина и ваш слуховой проход образуют полугерметичное пространство, которое резонирует и усиливает некоторую частоту.

То же самое и с наушниками. Когда наушники надеты на ухо, некоторые частоты были усилены, и мы можем определить, надеты ли наушники на ухо, просто взглянув на уровень сигнала на разных частотах. Если наушники на голове, мы начинаем посылать сигнал.

Но мы не ограничиваемся этими четырьмя приложениями. Мы также можем проводить такие измерения, как подсчет шагов и мониторинг дыхания.

Технические обзоры :Как бы вы узнали, идет ли вход от шагов или от дыхания?

Поклонник :сигналы будут отличаться друг от друга, поэтому вы сможете использовать модель глубокого обучения, чтобы различать их.

Это также может быть использовано для ухода за пожилыми людьми. Он может распознать падение человека, поэтому мы должны позвонить в 911. Мы также планируем работать над этим.

Основной интеллектуальный вклад в наш проект заключается в том, что мы представили платформу, которая может превратить стандартные наушники в умные, что позволяет использовать множество возможных приложений. На высоком уровне эта технология может обеспечить повсеместный интерфейс человек/наушники/сетевой интерфейс, потому что многие существующие «тупые» наушники могли бы извлечь выгоду из HeadFi.

Технические обзоры :Когда вы говорите «платформа», вы имеете в виду программное обеспечение?

Поклонник :это программно-аппаратное решение. Аппаратное обеспечение представляет собой мост Уитстона для компенсации между левым и правым драйверами. После этого нам нужно выполнить обработку сигналов для таких задач, как классификация, включая поддержку векторной машины или фреймворков глубокого обучения. Таким образом, несмотря на то, что это комбинированное программное и аппаратное решение, аппаратное обеспечение может быть очень простым — всего два резистора.

Технические обзоры :У вас есть адаптер, который вы подключаете?

Поклонник :Да, это наш текущий прототип оборудования.

Технические обзоры :И тогда вам нужно было бы разработать приложение для загрузки загрузки в смартфон?

Поклонник :Да, адаптер, который мы сейчас используем, имеет соединение USB Type C, которое в настоящее время довольно распространено для наушников и мобильных телефонов.

Технические обзоры :У вас есть приблизительное представление о том, когда это может стать коммерческим?

Поклонник :В настоящий момент мы используем веб-сайт центра коммерциализации Rutgers для поиска партнера и изучаем потенциальных партнеров, таких как Apple, Samsung или Microsoft. Мы также разрабатываем модернизированное оборудование, поскольку наш нынешний адаптер — это просто открытая печатная плата. На данный момент нам удалось уменьшить размер платы до 3 см x 2 см. Мы стремимся сделать его удобным и удобным, а также пишем программное обеспечение для Android, чтобы его было легко демонстрировать.

Отредактированная версия этого интервью была опубликована в выпуске Tech Briefs за май 2021 г.