Успешная акустическая обработка в реальном времени требует тщательного планирования

Акустическая обработка в реальном времени с малой задержкой является ключевым фактором во многих встраиваемых приложениях обработки, среди которых предварительная обработка голоса, распознавание речи и активное шумоподавление (ANC). Поскольку требования к производительности в реальном времени в этих областях приложений неуклонно растут, разработчикам необходимо принять стратегическое мышление, чтобы должным образом удовлетворить эти потребности. Учитывая значительную производительность, предлагаемую многими более крупными системами на микросхемах, может возникнуть соблазн просто загрузить эти устройства любыми возникающими дополнительными задачами, но важно понимать, что задержка и детерминизм являются критическими элементами, которые могут легко привести к созданию основной системы реального времени. проблемы, если не рассматривать их внимательно. В этой статье будут рассмотрены проблемы, которые дизайнеры должны учитывать при выборе между SoC и специализированным аудио DSP, чтобы избежать неприятных сюрпризов в их акустических системах реального времени.

Акустические системы с малой задержкой предназначены для широкого спектра применений. Например, только в автомобильной сфере низкая задержка имеет решающее значение для личных аудиозон, шумоподавления на дорогах и систем связи в автомобиле, и это лишь некоторые из них.

С появлением тенденции к электрификации транспортных средств, ANC становится еще более важным, потому что нет двигателя внутреннего сгорания, генерирующего заметный шум. Поэтому звуки, связанные с интерфейсом «автомобиль-дорога», становятся более заметными и оскорбительными. Снижение этого шума не только делает езду более комфортной, но и снижает утомляемость водителя. Существует множество проблем, связанных с внедрением акустической системы с малой задержкой на SoC, в отличие от специального аудио DSP. К ним относятся проблемы задержки, масштабируемости, возможности обновления, соображения по поводу алгоритмов, аппаратного ускорения и поддержки клиентов. Давайте рассмотрим каждый из них по очереди.

Задержка

Проблема задержки в системах обработки звука в реальном времени является важной. Если процессор не может справиться с перемещением данных в реальном времени и вычислительными потребностями системы, это может привести к недопустимому пропаданию звука.

Обычно SoC имеют небольшие встроенные SRAM и, соответственно, должны полагаться на кэш для большинства обращений к локальной памяти. Это вводит недетерминированную доступность кода и данных, а также увеличивает задержку обработки. Для приложения реального времени, такого как ANC, одно это может стать преградой. Однако есть также тот факт, что SoC работают под управлением операционных систем, не работающих в режиме реального времени, которые управляют тяжелыми многозадачными нагрузками. Это усиливает недетерминированные рабочие характеристики системы, что очень затрудняет поддержку относительно сложной акустической обработки в многозадачной среде.

На рисунке 1 показан конкретный пример SoC, выполняющего нагрузку обработки звука в реальном времени, где загрузка ЦП резко возрастает по мере обслуживания задач SoC с более высоким приоритетом. Эти всплески могут возникать, например, из-за действий, ориентированных на SoC, таких как рендеринг мультимедиа, просмотр или выполнение приложения в системе. Когда скачки превышают 100% загрузку ЦП, SoC перестает работать в реальном времени, и это приводит к пропаданию звука.

щелкните, чтобы просмотреть изображение в полном размере

Рис. 1. Мгновенная загрузка ЦП для типичного SoC, на котором в дополнение к другим задачам выполняется обработка большого объема аудиопамяти [1]. (Источник:Analog Devices)

Аудио DSP, с другой стороны, спроектированы так, чтобы обеспечить малую задержку на всем пути обработки сигнала, от дискретизированного аудиовхода до композитного (например, аудио + шумоподавление) выхода динамика. SRAM команд и данных L1, память на один цикл, ближайшая к ядру процессора, достаточно просторна для поддержки многих алгоритмов обработки без выгрузки промежуточных данных во внешнюю память. Кроме того, внутренняя память L2 (более удаленная от ядра, но все же гораздо более быстрый доступ, чем внешняя DRAM) помогает обеспечить буфер для промежуточных операций с данными, когда объем хранилища L1 SRAM превышен. Наконец, аудио DSP обычно работают под управлением операционной системы реального времени (RTOS), которая гарантирует, что входящие данные могут быть обработаны и отправлены по назначению до прибытия новых входных данных, таким образом гарантируя, что буферы данных не переполнятся во время работы в реальном времени.

Фактическая задержка при загрузке системы - часто измеряемая временем доступности звука - также может быть важным показателем, особенно в автомобильных системах, где звуковые предупреждения должны транслироваться в определенном окне после запуска. В мире SoC, где обычно используется длительная последовательность загрузки, которая включает в себя запуск операционной системы для всего устройства, выполнение этого требования к запуску может быть трудным или невозможным. С другой стороны, автономный звуковой DSP с собственной ОСРВ, на которую не влияют другие посторонние системные приоритеты, может быть оптимизирован для быстрой загрузки, которая комфортно удовлетворяет требованиям времени до звука.

Масштабируемость

В то время как проблемы с задержкой создают проблемы для SoC в таких приложениях, как управление шумом, другим ключевым недостатком SoC, стремящимся выполнять акустическую обработку, является масштабируемость. Другими словами, SoC, которые управляют большими системами (такими как автомобильные головные узлы и кластеры) с множеством разрозненных подсистем, не могут легко масштабироваться от низкого уровня до высококачественного аудио, потому что существует постоянный конфликт между потребностями масштабируемости каждого компонента подсистемы, требующий компромиссы в общем использовании SoC. Например, если головной узел SoC подключается к удаленному тюнеру и для всех моделей автомобилей этот тюнер должен масштабироваться с нескольких каналов до многих каналов, каждая конфигурация канала будет усиливать проблемы в реальном времени, упомянутые ранее. Это связано с тем, что каждая дополнительная функция под управлением SoC изменяет поведение SoC в реальном времени и доступность ресурсов ключевых архитектурных компонентов, используемых множеством функций. Эти ресурсы включают в себя такие аспекты, как пропускная способность памяти, циклы ядра процессора и слоты арбитража системной шины.

Помимо озабоченности по поводу подключения других подсистем к многозадачной SoC, сама акустическая подсистема имеет свои собственные проблемы с масштабируемостью. Существует масштабирование от низкого до высокого уровня (например, увеличение количества каналов микрофона и динамиков в приложении ANC), а также масштабирование звука, от базового декодирования звука и воспроизведения стерео до 3D-виртуализации и других дополнительных функций. Хотя эти требования не разделяют ограничений систем ANC в реальном времени, они, тем не менее, напрямую связаны с выбором аудиопроцессора для системы.

Использование отдельного звукового DSP в качестве сопроцессора для SoC помогает решить проблему масштабируемости звука, обеспечивает модульную конструкцию системы и оптимизирует стоимость (см. Рисунок 2). SoC может гораздо меньше фокусироваться на потребностях более крупной системы в акустической обработке в реальном времени, вместо этого перекладывая эту обработку на DSP аудио с малой задержкой. Более того, аудио DSP, которые предлагают несколько различных уровней цены / производительности / памяти в рамках всеобъемлющей дорожной карты, совместимой с кодом и совместимой по выводам, предлагают разработчикам системы максимальную гибкость для выбора правильного размера предложения производительности звука для данного уровня продукта.

щелкните, чтобы просмотреть изображение в полном размере

Рисунок 2:иллюстрация хорошо масштабируемого аудиопроцессора. Использование отдельного аудиопроцессора, такого как показанный здесь DSP ADSP-2156x, помогает решить проблему масштабируемости звука, обеспечивает модульную конструкцию системы и оптимизирует затраты. (Источник:Analog Devices)

Возможность обновления

Поскольку беспроводные обновления прошивки становятся все более распространенными в современных автомобилях, возможность обновления для выпуска критических исправлений или предоставления новых функций становится все более важной. Это может вызвать серьезные проблемы для SoC из-за увеличения зависимости между его различными подсистемами. Во-первых, на SoC множество потоков обработки и перемещения данных соперничают за ресурсы. Это усиливает конкуренцию за процессоры MIPS и память, когда добавляются новые функции, особенно во время всплесков пиковой активности. С точки зрения звука, добавление функций в другие области управления SoC может непредсказуемо повлиять на акустические характеристики в реальном времени. Одним из побочных эффектов этой ситуации является необходимость перекрестного тестирования новых функциональных возможностей во всех рабочих плоскостях, что приводит к бесчисленным перестановкам между различными режимами работы конкурирующих подсистем. Таким образом, проверка программного обеспечения увеличивается экспоненциально с каждым пакетом обновления.

Если посмотреть под другим углом, можно сказать, что улучшения звуковых характеристик SoC зависят от доступных SoC MIPS, в дополнение к дорожным картам функций для других подсистем, контролируемых SoC.

Разработка и производительность алгоритмов

Должно быть очевидно, что когда дело доходит до разработки акустических алгоритмов в реальном времени, аудио DSP специально созданы для этой задачи. В качестве значительного отличия от SoC автономные аудио DSP могут предлагать графические среды разработки, которые позволяют инженерам с минимальным опытом кодирования DSP добавлять качественную акустическую обработку в свои проекты. Этот тип инструмента может снизить затраты на разработку за счет сокращения времени разработки без ущерба для качества или производительности.

Например, графическая среда разработки аудио SigmaStudio от ADI предлагает широкий спектр алгоритмов обработки сигналов, интегрированных в интуитивно понятный графический интерфейс пользователя (GUI), что позволяет создавать сложные потоки аудиосигналов (см. Рисунок 3). Он также поддерживает графическую конфигурацию A2B для передачи звука, что значительно ускоряет разработку акустических систем в реальном времени.

щелкните, чтобы просмотреть изображение в полном размере

Рис. 3. Графические среды разработки аудио, такие как SigmaStudio от Analog Devices, предоставляют доступ к широкому спектру алгоритмов обработки сигналов, интегрированных в интуитивно понятный графический интерфейс пользователя (GUI), упрощая создание сложных потоков аудиосигналов. (Источник:Analog Devices)

Аппаратные функции, оптимизированные для звука

В дополнение к архитектуре ядра процессора, специально разработанной для эффективных параллельных вычислений с плавающей запятой и доступа к данным, аудио DSP часто имеют выделенные многоканальные ускорители для распространенных звуковых примитивов, таких как быстрое преобразование Фурье (FFT), конечная и бесконечная импульсная характеристика (FIR и IIR). ) фильтрация и асинхронное преобразование частоты дискретизации (ASRC). Они позволяют выполнять фильтрацию звука в реальном времени, дискретизацию и преобразование в частотную область вне центрального процессора, повышая эффективную производительность ядра. Кроме того, они могут обеспечить гибкую и удобную для пользователя модель программирования благодаря своей оптимизированной архитектуре и возможностям управления потоками данных.

Из-за увеличения количества аудиоканалов, потоков фильтров, частот дискретизации и т. Д. Важно иметь максимально настраиваемый контактный интерфейс, который позволяет встроенное преобразование частоты дискретизации, точную синхронизацию и синхронные высокоскоростные последовательные порты для эффективной маршрутизации данных. и избежать дополнительной задержки или логики внешнего интерфейса. Цифровое аудио соединение (DAI) процессоров семейства SHARC от ADI иллюстрирует эту возможность, как показано на рисунке 4.

щелкните, чтобы просмотреть изображение в полном размере

Рис. 4. Цифровое аудиосоединение (DAI) - это максимально настраиваемый контактный интерфейс, который обеспечивает преобразование частоты дискретизации в линию, точное тактирование и синхронные высокоскоростные последовательные порты для эффективной маршрутизации данных и предотвращения дополнительной задержки или логика внешнего интерфейса. (Источник:Analog Devices)

Поддержка клиентов

Одним из аспектов разработки со встроенным процессором, который часто упускают из виду, является клиентская поддержка устройства.

Хотя поставщики систем на кристалле продвигают выполнение акустических алгоритмов на своих интегрированных DSP-продуктах, на практике это влечет за собой ряд обязательств. С одной стороны, поддержка поставщика часто бывает более сложной, поскольку акустическая экспертиза обычно не является областью разработки приложений SoC. Следовательно, существует тенденция слабой поддержки клиентов, стремящихся разработать свои собственные акустические алгоритмы на базе технологии DSP на кристалле SoC. Вместо этого поставщик может предлагать стандартные алгоритмы и взимать значительную сумму NRE для переноса акустических алгоритмов на одно или несколько ядер SoC. Даже в этом случае нет гарантии успеха, особенно если поставщик не предлагает зрелое программное обеспечение с низкой задержкой. Наконец, сторонняя экосистема для акустической обработки на основе SoC имеет тенденцию быть довольно хрупкой, поскольку она не является фокусом SoC, а скорее является условно поддерживаемой функцией.

Специально созданный аудио DSP несет в себе гораздо более сильную экосистему для разработки сложных акустических систем, от оптимизированных библиотек алгоритмов и драйверов устройств до операционных систем реального времени и простых в использовании инструментов разработки. Эталонные платформы, ориентированные на аудио (например, платформа аудиомодулей SHARC от ADI, показанная на рисунке 5), которые ускоряют вывод на рынок, являются редкостью для SoC, но довольно распространены в области автономного аудио DSP.

Рис. 5. DSP обычно предоставляют платформу разработки, ориентированную на аудио, как показано здесь:аудиомодуль SHARC (SAM) .. (Источник:Analog Devices)

Проектирование акустических систем в реальном времени включает в себя целенаправленное стратегическое планирование системных ресурсов, и им нельзя просто управлять, выделяя оставшееся пространство для обработки на многозадачной SoC. Вместо этого автономный звуковой DSP, оптимизированный для обработки с малой задержкой, вероятно, приведет к повышению надежности, сокращению времени разработки и оптимальной масштабируемости для соответствия будущим системным потребностям и уровням производительности.

Ссылка

[1] Пол Бекманн. «Многоядерные процессоры SOC:производительность, анализ и оптимизация». Международная конференция AES по автомобильному аудио, август 2017 г.

---

Дэвид Кац имеет 30-летний опыт проектирования аналоговых, цифровых и встроенных систем. Он является директором по системной архитектуре для автомобильной информационно-развлекательной системы в Analog Devices, Inc. Он опубликовал на международном уровне около 100 статей о встроенной обработке данных и представил несколько докладов на конференциях в этой области. Ранее он работал в Motorola, Inc. старшим инженером в группах кабельных модемов и автоматизации производства. Дэвид имеет степень бакалавра наук. и M.Eng. по электротехнике Корнельского университета. С ним можно связаться по адресу [email protected].

---

Связанное содержание:

• Сочетание аппаратного и программного обеспечения для улучшения звука
• Как граничные звуковые процессоры обеспечивают интеграцию голоса в устройствах Интернета вещей
• ИИ находит свой голос в аудио цепочке.
• Решения с адаптивным ANC расширяют возможности звука.
• Рекомендации по проектированию маломощных, постоянно включенных систем голосового управления.

Чтобы получить больше информации о Embedded, подпишитесь на еженедельную рассылку Embedded по электронной почте.