Низкопотребляющий кремниевый улитный ухо обеспечивает ультра-эффективное голосовое сенсирование

По мере того как голосовые ассистенты становятся все более распространенными, спрос на энергоэффективное, всегда-включенное аудио-сенсирование взошел. Передовая нейроморфная инженерия теперь предлагает убедительный ответ: кремниевый улитный ухо, зеркалящий био-механику человеческого уха для доставки низколатентного, низкопотребляющего обнаружения речи.

Кремниевый улитный ухо: био-вдохновенный аудио-фронтенд

Профессор Ши-Чи Лью и её команда в Институте нейроинформатики (INI) завоевали премию Misha Mahowald 2020 за нейроморфную инженерию за свой динамический аудио сенсор (DAS). Ядро DAS — кремниевый улитный ухо, эмулирующий волосковые клетки уха: входящий звук сначала фильтруется в банк аналоговых полосовых фильтров, затем полуволново выпрямляется для репликации механической трансдукции улитных волосковых клеток.

Конвенциональные аудио-системы сначала оцифровывают звук, затем извлекают признаки с FFT и BPF перед подачей их в DSP. В отличие, INI-Zurich DAS передает аналоговые аудио-полосы как асинхронные поцепочки спайков, которые напрямую обрабатываются нисходящими нейронными сетями.

После начальной фильтрации система конвертирует выпрямленные сигналы в электрические спайки — либо через классический integrate-and-fire механизм, либо через асинхронный дельта-модулятор (ADM). ADM сравнивает сигнал против двух порогов, излучая события только при изменениях. Это event-driven кодирование подавляет статическую информацию, драматически снижая трафик данных и, следовательно, потребление энергии.

С энергетической точки зрения, кремниевый улитный ухо остается практически простаивающим при отсутствии звука, но его потребление мощности масштабируется с активностью. Для приложений, включающих длительные периоды тишины, прерываемые краткими речевыми всплесками — типичных для многих голосовых сценариев — этот динамический профиль мощности предлагает четкое преимущество. Более того, непрерывное-временное спайковое представление поддерживает исключительно широкий динамический диапазон, так как спайки могут быть произвольно далеко разделены или плотно сгруппированы.

От спайков к распознаванию речи

Event-стримы DAS могут быть конвертированы в 2D кохлеограммы — гистограммы спайков, биннированные по частоте за 5-мс интервалы. Эти кохлеограммы затем подаются в легковесную глубокую нейронную сеть, декодирующую произнесенные слова. Лью отмечает, что глубокие сети на сенсоре представляют большой интерес для сообщества IEEE ISSCC и своевременны, учитывая текущий бум в аудио edge computing. Хотя многие низкопотребляющие ASIC для keyword spotting опираются на конвенциональные спектрограммы, гибридный аналого-цифровой подход Лью обещает еще более низкое потребление и более быструю латентность.

В прошлом году INI выпустили демонстрационное видео, где система распознает произнесенные цифры. Хотя еще на ранних стадиях, прототип показывает потенциал кремниевых улитных ушей для реального keyword spotting. Команда Лью также исследовала сенсорный фьюжн, комбинируя аудио с визуальными подсказками для усиления точности классификации, и опубликовала дизайн-гайдлайны, помогающие инженерам решать, когда аналоговое сенсирование наиболее преимущественно.

Misha Mahowald, изобретатель address-event представления и именная премия Нейроморфной Инженерии.

Текущие исследования фокусируются на дальнейшем снижении потребления и улучшении производительности. Инновации включают оптимизацию source-follower полосовых фильтров и уточнение аналоговых экстракторов признаков. Для митигации вариабельности, присущей аналоговым схемам, команда построила аппаратный эмулятор, ускоряющий тестирование и позволяющий обучать бинарные нейросетки в ПО, точно предсказывая производительность реального чипа. Они также экспериментируют с инъекцией контролируемого шума для большей робастности дизайнов.

Признание и влияние

Профессор Лью, пионер нейроморфной инженерии, обученная в лаборатории Карвера Мида в Caltech, подсветила значимость премии Маховолд: Эта честь подчеркивает десятилетия фундаментальной работы — от Дика Лайона до Карвера Мида и далее. Она подчеркивает, что по мере замедления Закона Мура гибридные аналого-цифровые системы вроде DAS станут все более жизненно важными, потенциально превосходя цифровые вычисления на порядки в энергоэффективности.

Ссылки

[1] D. Neil и S. C. Liu, «Effective sensor fusion with event‑based sensors and deep network architectures,» in Proceedings – IEEE International Symposium on Circuits and Systems, Jul. 2016, vol. 2016-July, pp. 2282–2285, doi: 10.1109/ISCAS.2016.7539039.

[2] S. C. Liu, B. Rueckauer, E. Ceolini, A. Huber, и T. Delbruck, «Event-Driven Sensing for Efficient Perception: Vision and audition algorithms,» IEEE Signal Process. Mag., vol. 36, no. 6, pp. 29–37, Nov. 2019, doi: 10.1109/MSP.2019.2928127.

[3] M. Yang, S.-C. Liu, M. Seok, и C. Enz, «Ultra‑Low‑Power Intelligent Acoustic Sensing using Cochlea‑Inspired Feature Extraction and DNN Classification.»

[4] M. Yang, C. H. Chien, T. Delbruck, и S. C. Liu, «A 0.5 V 55 µW 64 × 2 Channel Binaural Silicon Cochlea for Event-Driven Stereo-Audio Sensing,» IEEE J. Solid‑State Circuits, vol. 51, no. 11, pp. 2554–2569, Nov. 2016, doi: 10.1109/JSSC.2016.2604285.

>> Эта статья изначально публиковалась на нашем партнерском сайте EE Times.