Использование DSP для аудио AI на границе

Будучи ограниченным облачными серверами с практически бесконечными ресурсами, машинное обучение переходит на периферийные устройства по разным причинам, включая меньшую задержку, меньшую стоимость, энергоэффективность и повышенную конфиденциальность. Время, необходимое для отправки данных в облако для интерпретации, может быть недопустимым, например, для распознавания пешеходов в беспилотном автомобиле. Пропускная способность, необходимая для отправки данных в облако, может быть дорогостоящей, не говоря уже о стоимости самой облачной службы, такой как распознавание речи для голосовых команд.

Энергия - это компромисс между отправкой данных туда и обратно на сервер и локальной обработкой. Вычисления машинного обучения сложны и могут легко разрядить батарею периферийного устройства, если не будут выполняться эффективно. Решения Edge также сохраняют данные на устройстве, что важно для конфиденциальности пользователей, например конфиденциальные электронные письма, диктуемые голосом на смартфоне. Аудио AI - богатый пример вывода на грани; а новый тип процессора цифровых сигналов (DSP), предназначенный для сценариев использования машинного обучения аудио, может обеспечить лучшую производительность и новые функции на границе сети.

Постоянное голосовое пробуждение - один из первых примеров машинного обучения на грани:прослушивание ключевого слова, такого как «Привет, Siri» или «Окей, Google», перед тем, как разбудить остальную часть системы, чтобы определить следующее действие. Если бы это определение ключевого слова было запущено на обычном процессоре приложения, оно могло бы занять более 100 мВт. В течение дня это разряжало бы аккумулятор смартфона. Поэтому в первых телефонах, в которых реализована эта функция, алгоритмы были перенесены на небольшой DSP, который мог работать с мощностью менее 5 мВт. В настоящее время эти же алгоритмы могут работать на специализированном аудио и машинном обучении DSP в интеллектуальном микрофоне с мощностью менее 0,5 мВт.

После того, как периферийное устройство включено для непрерывного машинного обучения звука, оно может делать больше, чем распознавание речи при низком энергопотреблении:контекстная осведомленность, например, находится ли устройство в многолюдном ресторане или на оживленной улице, распознавание окружающей музыки, ультразвуковое распознавание комнаты и т. Д. и даже узнавая, кричит ли кто-то поблизости или смеется. Эти типы функций позволят создать новые сложные варианты использования, которые могут улучшить периферийное устройство и принести пользу пользователю.

Наилучшая производительность и энергоэффективность для логических выводов машинного обучения на периферии требует обширной настройки оборудования. Некоторые из наиболее эффективных методов собраны в таблице 1. Реализация этих функций повысит эффективность логических выводов машинного обучения на периферии.

Большинство арифметических операций, необходимых для вывода нейронной сети, - это умножение матрицы на вектор. Это связано с тем, что модели машинного обучения обычно представлены в виде матриц, которые применяются к новым стимуляторам, представленным в виде векторов. Самый распространенный метод улучшения вывода машинного обучения - сделать умножение матрицы на вектор очень эффективным. Распространенным способом решения этой проблемы является объединенное умножение с последующим накоплением (MAC).

Хотя этап обучения чувствителен к числовой точности, на этапе вывода можно получить почти эквивалентные результаты с низкой точностью (например, 8-битные). Ограничение точности может значительно снизить сложность вычисления границ. По этой причине производители процессоров, такие как Intel и Texas Instruments, добавили MAC с ограниченной точностью. TMS320C6745 от Texas Instruments может выполнять 8 MAC по 8 бит каждый за цикл. Кроме того, аудиопроцессор Knowles поддерживает 16 MACS по 8 бит каждый на цикл.

Обе фазы обучения и вывода оказывают давление на подсистему памяти. Поддержка процессором для слова большой ширины часто улучшается, чтобы приспособиться к этому. В новейших высокопроизводительных процессорах Intel есть AVX-512, который поддерживает передачу 512 бит за цикл в массив из 64 умножителей. Texas Instruments 6745 использует 64-битную шину для увеличения пропускной способности памяти. В продвинутых аудиопроцессорах Knowles используется 128-битная шина, обеспечивающая хороший баланс между большой площадью чипа и высокой пропускной способностью. Кроме того, архитектуры машинного обучения звука (такие как RNN или LSTM) часто требуют обратной связи. Это предъявляет дополнительные требования к архитектуре микросхемы, поскольку зависимость от данных может затруднить работу архитектур с высокой степенью конвейерной обработки.

Хотя традиционное машинное обучение может работать с необработанными данными, алгоритмы машинного обучения звука обычно выполняют спектральный анализ и извлечение функций для питания нейронных сетей. Ускорение традиционных функций обработки сигналов, таких как БПФ, звуковые фильтры, тригонометрические функции и логарифмы, необходимо для повышения энергоэффективности. В последующих операциях часто используются различные нелинейные векторные операции, такие как сигмоид, реализованный как гиперболический тангенс, или выпрямленная линейная единица (функция абсолютного значения со всеми отрицательными числами, замененными на ноль). Эти сложные нелинейные операции занимают много циклов на традиционных процессорах. Одноцикловые инструкции для этих функций также повышают энергоэффективность аудио DSP машинного обучения.

Таким образом, усовершенствованные процессоры, специализирующиеся как на машинном обучении, так и на обработке звука, позволяют получать постоянный вывод данных в режиме реального времени с низкими затратами, одновременно сохраняя конфиденциальность. Энергопотребление сохраняется на низком уровне за счет архитектурных решений по поддержке набора команд, позволяющих выполнять несколько операций за цикл, и более широких шин памяти для поддержания высокой производительности при низком энергопотреблении. По мере того как компании продолжают внедрять инновации в области специализированных вычислений на периферии, количество сценариев использования машинного обучения, в которых они используются, будет только увеличиваться.

Джим Стил - вице-президент по технологической стратегии в Knowles Corp.

5G, Ai и IoT Приоритеты теплового проектирования дисков Система со сверхнизким энергопотреблением подкрепляет надежды ИИ на TinyML