Почему цифровые сигнальные процессоры (DSP) теперь везде в современных устройствах

Когда ARM CPU впервые набрали популярность — благодаря ранним пользователям вроде Apple — мобильное использование взлетело. Выгода была ясна: встроенный процессор мог превратить любое устройство в универсальную, функционально-богатую платформу. Более того, программные обновления могли продлевать жизнь железа, позволяя одному чипу питать несколько поколений продуктов.

(Источник: CEVA)

Хотя универсальные CPU отлично справляются с широким спектром задач, они борются с операциями, требующими обработки в реальном времени с низким потреблением — например, модем смартфона. Модем должен обрабатывать непрерывные аналоговые радиосигналы, оцифрованные, требуя быстрых, эффективных вычислений, которые типичный CPU не может обеспечить без избыточного потребления энергии.

DSP спроектированы именно для таких задач. Оснащенные нативной поддержкой floating-point и оптимизированными математическими блоками — особенно операциями multiply-accumulate (MAC) — они эффективно обрабатывают потоковые данные, в отличие от пакетных рабочих нагрузок, типичных для CPU.

Аудиообработка имеет те же требования. DSP питят высококлассные аудиофичи — от эквалайзера и Dolby-сжатия до продвинутых шумоподавляющих наушников, позволяющих спать в полете беспокоясь.

ИИ вырос за пределы дата-центров в мобильные и пограничные устройства. Сегодня автомобили детектят пешеходов, столкновения и разметку полос для базового автономного вождения. Голосовые ТВ, умные колонки, даже шлемные GoPro позволяют действовать без рук.

Эти фичи опираются на обработку в реальном времени потоковых данных — голоса, статичных изображений или видео. Аудиообработка требует качественного захвата через multi-mic beamforming, эхо-отмену и шумоподавление — области, где DSP имеют десятилетия проверенной экспертизы.

Распознавание команд использует обученные нейросети — алгоритмы, кардинально отличающиеся от CPU-центричного кода. Хотя CPU могут их запускать, результативная медлительность сажает батарею. Запуск сети на высокопараллельной архитектуре, вроде DSP, позволяет одновременные операции и сохраняет энергию.

Можно подумать, что DSP слишком специализированы для обычных разработчиков. В реальности программирование похоже на CPU: вы пишете C-код для обоих. Ключ — писать код, эксплуатирующий сильные стороны DSP для максимальной производительности.

(Источник: CEVA)

DSP вездесущи: каждый телефонный радиомодуль — Bluetooth, Wi-Fi, сотовая связь — опирается на один или несколько DSP. Bluetooth-наушники, умные колонки, голосовые пульты, камеры домашней безопасности, автодатчики — все используют DSP для обработки аудио, детекта движения и анализа звука для решений в реальном времени.

GPU, хоть и мощны для обучения ИИ в дата-центрах, не подходят для пограничного использования из-за размера, потребления и стоимости. По мере роста требований приватности и безопасности ИИ должен сместиться на дешевое, малоэнергопотребляющее железо — делая DSP практичным выбором для встроенных устройств.

Следовательно, встроенные DSP пролиферируют. Они позволяют дешевое, малоэнергопотребляющее голосовое управление, детекцию объектов, аудиоулучшение и больше — оставаясь полностью программируемыми. Пока CPU все еще управляют общими задачами, DSP все больше доминируют в умной аудио- и визуальной обработке.

Эта статья открывает серию о DSP против аппаратных ускорителей. Следующие посты: «Когда DSP побеждает аппаратный ускоритель» и «Решения, решения: аппаратный ускоритель или DSP?».