Устройства с низким энергопотреблением могут слушать с помощью кремниевой улитки

По мере того, как мы движемся к более повсеместным, постоянно включенным измерениям и вычислениям, мощность становится все более важной. Возможно, нет лучшего примера того, где это важно, чем устройства с голосовой активацией на наших столах, в наших карманах и распределенные по домам. Как мы видели в прошлом году, определение ключевых слов, в частности, в настоящее время является целью всех видов нейроморфных технологий.

Силиконовая улитка

Лауреатом Премии Миши Маховальда в области нейроморфной инженерии 2020 года стали профессор Ши-Чии Лю и ее команда, которые работали над датчиками с малой задержкой и низким энергопотреблением для обнаружения речи. Динамические аудиодатчики, которые разрабатывали Ши-Чии Лю и ее команда из Института нейроинформатики (INI), в конечном итоге могут удовлетворить этот рынок. В их основе лежит силиконовая улитка, имитирующая биологию. Сначала поступающий звук фильтруется по частотным каналам с помощью набора аналоговых полосовых фильтров, выходной сигнал которых выпрямляется полуволновым способом. Вместе это имитирует функцию волосковых клеток в ухе.

В обычной аудиосистеме звук сначала преобразуется с помощью аналого-цифрового преобразователя, а затем характеристики извлекаются с помощью цифрового быстрого преобразования Фурье (FFT) и полосовой фильтрации (BPF). Они обрабатываются цифровым сигнальным процессором (DSP), выполняющим обнаружение голосовой активности (VAD) или алгоритмами автоматического распознавания речи. B. В датчике динамического звука INI-Zurich сигнал принимается в виде аналоговых звуковых полос от функций with, и изменения кодируются, параллельно, в последовательности асинхронных всплесков (событий), которые затем обрабатываются.

Как это происходит в биологии, различные каналы затем подготавливаются к обработке в мозгу. В ухе ганглиозные клетки кодируют сигналы как выброс химических ионов:в кремниевой улитке они превращаются в электрические спайки. Это можно сделать с помощью классической функции интеграции и запуска или асинхронного дельта-модулятора (ADM), который сравнивает сигнал с двумя пороговыми значениями и отправляет соответствующие события по мере их прохождения, действуя как средство извлечения признаков. Поскольку неизменяющиеся сигналы игнорируются, объем избыточной информации, передаваемой на следующий этап, уменьшается.

С точки зрения мощности, если ничего не происходит, кремниевая улитка почти не расходует энергию, но по мере роста активности увеличивается и количество всплесков. В зависимости от приложения это может быть либо огромным преимуществом (если много прослушиваний, но очень мало действий), либо вовсе не преимуществом (когда есть соответствующие данные, которые нужно декодировать все время).

Однако в качестве аудиодатчика, работающего в режиме малой µВт, микросхема может предложить разработчикам системы ценный вариант повышения энергоэффективности. Это также обеспечивает очень высокий динамический диапазон, так как шипы могут располагаться далеко друг от друга или близко друг к другу, поскольку они действуют непрерывно во времени.

Распознавание речи

Важнейшей частью этой работы была демонстрация полезности . В частности, потоки событий, создаваемые кремниевой улиткой, можно использовать в реальных приложениях, таких как обнаружение голосовой активности, первый этап распознавания ключевых слов. Лю и ее команда преуспели в этом, используя вывод событий для создания двухмерных кадров данных:гистограмм приходящих всплесков с разбивкой по частоте, расположенных на протяжении 5 мс кадра. Они называются кохлеаграммами, их можно считывать в нейронную сеть, а их значение расшифровывать оттуда.

По словам Лю, «использование глубоких сетей на датчике представляет большой интерес для сообщества IEEE ISSCC и очень своевременно, учитывая нынешний огромный интерес к периферийным вычислениям звука». По ее словам, было много работ о маломощных ASIC для определения ключевых слов, но в них используются обычные функции, подобные спектрограммам. Одна из ее целей - «показать, что гибридные решения (конструкции со смешанными аналоговыми сигналами) могут привести к созданию решений даже с меньшим энергопотреблением и меньшими задержками».

В прошлом году INI выпустила видео, показывающее, как система распознает цифры (вы можете увидеть Лю примерно с 2:06). Это далеко не безошибочно, но это еще относительно ранняя стадия развития системы. Команда, в которую на протяжении многих лет входили Минхао Ян, Чанг Гао, Энеа Сеолини, Адриан Хубер, Джитендар Анумула, Илья Киселев и Даниэль Нил, также экспериментировала со слиянием сенсоров:Лю и ее коллеги объединили аудио и визуальную информацию для классификации более надежный [1]. Они публикуют первоначальные правила проектирования, чтобы выбрать, когда аналоговые датчики более эффективны, а когда лучше использовать цифровые [2].

Миша Маховальд, один из изобретателей представления адрес-событие, в честь которого названа премия в области нейроморфной инженерии.

Еще одна постоянная работа заключалась в улучшении энергоэффективности и производительности DAS. Частично это связано с рассмотрением реализации отдельных функций, от полосовых фильтров на основе источника-повторителя до конструкции экстракторов аналоговых функций.

Уменьшение эффекта изменчивости в аналоговой электронике - еще одна важная область исследований. Чтобы помочь с этим, они создали аппаратный эмулятор, который, по их словам, можно было использовать для тестирования этих проблем гораздо быстрее, чем это было бы возможно при использовании коммерческого программного обеспечения, такого как Cadence Virtuoso. Обучая двоичную нейронную сеть, которую они используют для классификации с помощью программного обеспечения, а не оборудования, они смогли точно предсказать эффективность классификации на ряде реальных тестовых микросхем [3]. Теперь они рассматривают добавление шума в систему как показатель изменчивости, чтобы сделать процесс проектирования еще более надежным.

Премия Маховальда

Лю был одним из первых исследователей нейроморфной инженерии; она не только работала в лаборатории Карвера Мида в Калифорнийском технологическом институте (где работал Маховальд), но и была одним из основателей Института нейроинформатики, когда многие из группы уехали из Калифорнии в Цюрих.

Получив награду, Лю сказал:«Для нас большая честь получить эту награду, особенно с таким количеством хороших исследователей в области нейроморфной инженерии. Работа, основанная на десятилетиях раннего дизайна кремниевой улитки, начатой ​​Диком Лайоном, Карвером Мидом, Ллойдом Уоттсом, Рахулом Сарпешкаром, Эриком Виттоцем и Андре ван Шайком ».

О важности нейроморфной инженерии она говорит:«Даже в конце закона Мура цифровые вычисления будут отставать от энергоэффективности биологии как минимум в тысячу раз. Таким образом, потенциальная эффективность гибридных аналоговых электронных систем, таких как DAS, становится как никогда важной ».

Ссылки

[1] Д. Нил и С. К. Лю, «Эффективное объединение датчиков с датчиками на основе событий и глубокой сетевой архитектурой», в Proceedings - IEEE International Symposium on Circuits and Systems , Июл.2016, т. 2016-июль, стр. 2282–2285, DOI:10.1109 / ISCAS.2016.7539039.

[2] С. К. Лю, Б. Рюкауэр, Э. Сеолини, А. Хубер и Т. Дельбрук, «Управляемое событиями восприятие для эффективного восприятия:алгоритмы зрения и слуха», Сигнальный процесс IEEE. Маг. , т. 36, нет. 6, стр. 29–37, ноябрь 2019 г., DOI:10.1109 / MSP.2019.2928127.

[3] М. Ян, С.-К. Лю, М. Сок и К. Энц, «Интеллектуальное акустическое зондирование со сверхнизким энергопотреблением с использованием метода извлечения признаков улитки и классификации DNN».

[4] М. Ян, Ч. Чиен, Т. Дельбрук и С. К. Лю, «Бинауральная кремниевая улитка 0,5 В, 55 мкВт, 64 × 2 канала для управляемой событиями стереозвука», IEEE J. Solid-State Схемы , т. 51, нет. 11, стр. 2554–2569, ноябрь 2016 г., DOI:10.1109 / JSSC.2016.2604285.

>> Эта статья была первоначально опубликована на наш дочерний сайт EE Times.