Почему DSP внезапно стали повсюду

Когда ядра процессоров ARM были впервые проверены, хотя их приняли некоторые из ведущих компьютерных компаний, включая Apple, их использование резко возросло, особенно в мобильных приложениях. Оглядываясь назад, преимущество было очевидным - любое устройство можно было сделать гораздо более гибким и многофункциональным с помощью встроенного процессора. В то же время эта возможность может быть обновлена ​​в программном обеспечении:одна аппаратная платформа может управлять несколькими выпусками продуктов за счет обновлений только программного обеспечения.

(Источник:CEVA)

Эти вычислительные механизмы очень гибкие и идеально подходят для многих задач управления и универсальных вычислений в наших смартфонах и других мобильных продуктах, но такая универсальность имеет недостаток. Есть определенные операции, которые на универсальном компьютере будут выполняться слишком медленно и потреблять слишком много энергии, чтобы быть практичным. Модем в беспроводной части вашего смартфона был одним из первых примеров. Он должен обрабатывать радиосигналы в режиме реального времени, имея дело не со знакомыми цифровыми словами и битами, используемыми внутри вычислительной части телефона, а с оцифрованной версией постоянно меняющихся аналоговых сигналов, используемых при радиопередаче и приеме. .

Цифровые сигнальные процессоры (DSP) предназначены для такого рода анализа. У них есть встроенное представление с плавающей запятой, необходимое для оцифрованных сигналов, и они имеют сильную поддержку математических функций, необходимых для обработки сигналов, таких как функции множественного накопления (MAC). Они также оптимизированы для обработки потоковых данных, а не для более пакетной обработки, характерной для обычных вычислений, что является важной функцией в данном случае для обработки непрерывной радиопередачи и приема.

Потребности в обработке звука имеют многие из функций, присущих обработке беспроводных сигналов. Это применение DSP стало обычным явлением в высококачественных аудиоприложениях, таких как эквалайзер и сжатие диапазона (например, сжатие Dolby), а затем все чаще и чаще в таких функциях, как наушники с шумоподавлением, которые позволяют вам спокойно спать во время полета.

Затем ИИ стал популярным, сначала только в центрах обработки данных, но теперь все больше и больше в мобильных и других периферийных приложениях. Наши автомобили теперь могут обнаруживать пешеходов и потенциальные столкновения, а также обнаруживать разметку полосы движения для управления рулевым управлением в базовой форме автономного вождения. Мы можем управлять нашими телевизорами или нашими интеллектуальными динамиками с помощью голосовых команд, чтобы найти песню или фильм, а также уменьшить или увеличить громкость. Мы даже можем управлять GoPro на нашем велосипедном защитном шлеме с помощью голосовых команд, чтобы начать или прекратить съемку.

Все эти возможности зависят от обработки потоковых данных (голос) или изображений (неподвижные изображения с камеры) или, возможно, обоих (видео), каждый в реальном времени или очень близко к реальному времени. Сначала посмотрите на обработку звука. Сначала вам нужно захватить высококачественный потоковый аудиосигнал - за счет формирования звукового луча от нескольких микрофонов, эхоподавления и подавления шума - во всех областях, где уже имеется многолетний опыт реализации DSP.

Затем вы должны распознавать команды с помощью обученной нейронной сети, которая является основой почти всех этих методов искусственного интеллекта. Эти алгоритмы сильно отличаются от тех, которые вы бы запускали на ЦП; и хотя они могут работать на процессоре, они будут медленными и быстро разрядят батарею. Лучшим подходом является программирование нейронной сети на архитектуре, которая предлагает высокий уровень параллелизма, позволяя выполнять множество вычислений одновременно, а не последовательно, как на ЦП. Еще одна сильная сторона DSP - параллелизм в вычислениях.

Вы можете задаться вопросом, могут ли DSP, несмотря на все эти преимущества, оказаться слишком сложными для использования кем-либо, кроме специалистов, у которых нет другого выбора, кроме как их использовать. Конечно, они не так просты в использовании, как процессоры, но разница не так велика. Вы пишете C-код для обоих, хотя вам нужно быть немного более вдумчивым в коде, который вы пишете для DSP, чтобы получить полное преимущество производительности.

(Источник:CEVA)

Что касается повсеместного распространения, каждое радио в вашем телефоне - Bluetooth, Wi-Fi и сотовая связь - использует один или несколько DSP. Наушники Bluetooth используют DSP для Bluetooth, а также для звука. Многие умные колонки используют DSP. Пульты с голосовым управлением используют DSP. Системы домашней безопасности используют DSP для обнаружения аномального движения на камерах и необычных звуков, таких как лай собаки или бьющееся стекло. Интеллектуальные датчики в вашем автомобиле используют DSP для обнаружения опасности вперед и назад, а также для определения разметки полосы движения.

Почему бы не использовать графические процессоры для всех этих функций? Графические процессоры действительно очень хорошо известны, особенно в области искусственного интеллекта, и широко используются в центрах обработки данных для обучения нейронных сетей. Но они слишком велики, потребляют слишком много энергии и слишком дороги для многих периферийных приложений. Большой толчок к тому, чтобы перенести на эти устройства больше функций искусственного интеллекта, по соображениям мощности, безопасности и конфиденциальности. Но это должны быть очень рентабельные решения. В большинстве случаев нет желания значительно увеличить стоимость всего решения (автомобиль, телевизор, домашняя безопасность).

Вот почему встроенные DSP становятся повсюду. Вы можете добавить к своему продукту голосовое управление, обнаружение объектов, контроль качества звука и многое другое по низкой цене и с низким энергопотреблением, при этом сохраняя гибкость программного обеспечения. Они не заменят ЦП для управления и общей обработки, но похоже, что они берут на себя все, что связано с интеллектуальным аудио и видео / изображениями.

Этот блог является первым в серии и продолжается сообщениями « Когда DSP превосходит аппаратный ускоритель »И« Решения, решения:аппаратный ускоритель или DSP ? ».