Проектирование низколатентных акустических систем: почему стратегическое планирование важно

Низколатентная обработка звука в реальном времени необходима во встроенных приложениях, таких как предобработка голоса, распознавание речи и активное шумоподавление (ANC). По мере роста требований к производительности разработчики должны принимать стратегический подход, балансируя скорость, детерминизм и ограничения ресурсов. Опора на высокопроизводительный SoC для обработки каждой задачи может показаться удобной, но игнорирование задержки и гарантий реального времени часто приводит к сбоям системы. Эта статья описывает ключевые соображения при выборе между SoC и выделенным аудио DSP, помогая проектировщикам избежать дорогостоящих неожиданностей.

Низколатентные акустические системы охватывают многие домены. В автомобиле, например, они обеспечивают личные аудио-зоны, подавление дорожного шума и внутриавтомобильную связь — все это опирается на субмиллисекундные времена отклика.

Электрификация усилила важность ANC, так как отсутствие шума двигателя раскрывает звуки интерфейса «дорога-автомобиль». Снижение этого шума улучшает комфорт поездки и уменьшает утомление водителя. Реализация низколатентного ANC на SoC создает проблемы с задержкой, масштабируемостью, обновляемостью, поддержкой алгоритмов, аппаратным ускорением и поддержкой клиентов. Мы рассматриваем каждый фактор ниже.

Задержка

Задержка критична в обработке звука в реальном времени. Если процессор не может поспевать за перемещением данных и вычислениями, аудио-провалы становятся неизбежными.

SoC обычно имеют небольшой набортовый SRAM и сильно полагаются на кэш для локального доступа к памяти. Это вводит недетерминированную доступность кода и данных, увеличивая задержку обработки. Для приложений вроде ANC даже небольшой джиттер может стать препятствием. Кроме того, SoC работают на универсальных операционных системах, управляющих тяжелыми многозадачными нагрузками, что еще больше усиливает недетерминизм и затрудняет поддержку сложных акустических алгоритмов в среде многозадачности.

Рисунок 1 иллюстрирует представительный SoC под нагрузкой реального времени аудио. Загрузка CPU скакает всякий раз, когда обслуживаются задачи с более высоким приоритетом — рендеринг медиа, веб-серфинг или выполнение приложений. Когда загрузка превышает 100%, SoC выходит из режима реального времени, приводя к аудио-провалам.

кликните для полноразмерного изображения

Рисунок 1: Мгновенные нагрузки CPU для представительного SoC, выполняющего обработку с высокой аудио-памятью в дополнение к другим задачам [1]. (Источник: Analog Devices)

Аудио DSP, напротив, спроектированы для низкой задержки на всем сигнальном пути — от дискретизированного аудиовхода к составному выходу. Они обладают обширным L1 инструкционным и данными SRAM для большинства алгоритмов и набортовой L2 памятью для буферизации промежуточных данных. Работая на ОС реального времени (RTOS), они гарантируют, что входящие сэмплы обрабатываются и доставляются до прибытия следующей партии, предотвращая переполнение буфера.

Задержка загрузки — время до первого слышимого выхода — также критична в авто, где предупреждения должны быть доставлены в строгих окнах. SoC часто имеют длительные последовательности загрузки, поднимающие полную ОС, что затрудняет соблюдение этих дедлайнов. Автономный DSP со своим RTOS может быть оптимизирован для быстрой загрузки, комфортно удовлетворяя требования времени до звука.

Масштабируемость

SoC, управляющие большими автомобильными системами, борются за масштабирование акустической производительности от низших к высшим конфигурациям. Каждая дополнительная подсистема — удаленный тюнер, инфотейнмент-кластер и т.д. — создает борьбу за ресурсы пропускной способности памяти, циклов CPU и арбитража шины, раздувая задержку реального времени.

Акустическая подсистема также масштабируется: увеличение количества микрофонов/динамиков в ANC или добавление 3D-аудио функций требует больше вычислительной мощности. Выделенный аудио DSP служит сопроцессором, освобождая SoC от ограничений реального времени акустики и позволяя модульное, стоимоэффективное масштабирование по уровням продукта.

Рисунок 2 демонстрирует, как отдельный аудиопроцессор (например, DSP ADSP-2156x) решает проблемы масштабируемости, обеспечивая модульный дизайн и оптимальные компромиссы стоимости/производительности.

кликните для полноразмерного изображения

Рисунок 2: Иллюстрация высокомасштабируемого аудиопроцессора. Использование отдельного аудиопроцессора, такого как DSP ADSP-2156x, решает проблемы масштабируемости, позволяет модульный дизайн и оптимизирует стоимость. (Источник: Analog Devices)

Обновляемость

Беспроводные обновления прошивки теперь обычны в автомобилях, требуя надежных путей обновления для критических патчей и новых функций. В SoC добавление функций увеличивает конкуренцию за ресурсы CPU и память, часто непредсказуемо влияя на производительность аудио в реальном времени. Новая функциональность должна быть перекрестно протестирована по всем режимам работы, экспоненциально повышая усилия по верификации. Обновляемость поэтому сильно зависит от доступных SoC MIPS и дорожной карты других подсистем.

Выделенные аудио DSP отделяют акустическую производительность от других доменов SoC, упрощая циклы обновления и снижая риски перекрестных зависимостей.

Разработка алгоритмов и производительность

Аудио DSP целесообразны для разработки алгоритмов акустики в реальном времени. Многие семейства DSP предоставляют графические среды разработки, позволяющие инженерам с минимальным опытом DSP проектировать сложные аудио-конвейеры, сокращая время разработки без ущерба качеству.

SigmaStudio от ADI, например, предлагает интуитивный GUI с библиотекой блоков обработки сигналов, обеспечивая быстрый прототипинг изощренных аудио-потоков (см. Рисунок 3). Он также поддерживает графическую конфигурацию A2B для аудио-транспорта, ускоряя системную интеграцию.

кликните для полноразмерного изображения

Рисунок 3: Графические среды разработки аудио, такие как SigmaStudio ADI, предоставляют доступ к широкому спектру алгоритмов обработки сигналов, интегрированных в интуитивный GUI, упрощая создание сложных аудио-сигнальных потоков. (Источник: Analog Devices)

Аппаратные функции, дружественные к аудио

Помимо ядерной архитектуры, аудио DSP включают выделенные многоканальные ускорители для БПФ, FIR/IIR фильтрации и асинхронного преобразования частоты дискретизации (ASRC). Они разгружают интенсивные операции от ядра, повышая эффективную производительность. Они также обеспечивают гибкую, удобную модель программирования благодаря оптимизированному управлению потоком данных.

С растущими числами каналов, потоков фильтров и частот дискретизации, максимально конфигурируемый пин-интерфейс становится существенным. Он позволяет встроенное преобразование частоты дискретизации, точное тактирование и синхронные высокоскоростные последовательные порты, маршрутизируя данные эффективно и избегая добавленной задержки. Семейство SHARC от ADI демонстрирует эту способность со своим цифровым аудио-интерконнектом (DAI) (см. Рисунок 4).

кликните для полноразмерного изображения

Рисунок 4: Цифровой аудио-интерконнект (DAI) — это максимально конфигурируемый пин-интерфейс, позволяющий встроенное преобразование частоты дискретизации, точное тактирование и синхронные высокоскоростные последовательные порты для эффективной маршрутизации данных и избегания добавленной задержки или внешней логики интерфейса. (Источник: Analog Devices)

Поддержка клиентов

Поддержка вендора — критический фактор во встроенной разработке. Хотя вендоры SoC могут хвастаться набортовыми DSP, их акустическая экспертиза часто ограничена. Поддержка tendeет быть фрагментированной: разработчики могут столкнуться со сложной экосистемой, ограниченными библиотеками и высокими NRE для портирования пользовательских алгоритмов. Успех не гарантирован, особенно если у вендора нет зрелых низколатентных фреймворков.

В отличие от этого, выделенные аудио DSP поставляются со зрелой экосистемой — оптимизированными библиотеками алгоритмов, драйверами устройств, RTOS и удобными инструментами. Референс-платформы, такие как платформа аудио-модуля SHARC от ADI (см. Рисунок 5), ускоряют выход на рынок и являются редкостью среди SoC.

кликните для полноразмерного изображения

Рисунок 5: DSP обычно предоставляют аудио-ориентированные платформы разработки, такие как аудио-модуль SHARC (SAM). (Источник: Analog Devices)

Проектирование систем акустики реального времени требует намеренного, стратегического распределения ресурсов. Опора на остаточную головную мощность SoC редко достаточна. Автономный аудио DSP, оптимизированный для низкой задержки, дает большую надежность, более короткие циклы разработки и масштабируемую производительность для будущих уровней продуктов.

Ссылка

[1] Paul Beckmann. «Multicore SOC Processors: Performance, Analysis, and Optimization.» 2017 AES International Conference on Automotive Audio, August 2017.

---

Дэвид Кац имеет 30 лет опыта в проектировании аналоговых, цифровых и встроенных систем. Он является директором системной архитектуры для автомобильного инфотейнмента в Analog Devices, Inc. Он опубликовал международно около 100 статей по встроенной обработке и представил несколько конференционных докладов в этой области. Ранее он работал в Motorola, Inc., как старший инженер-конструктор в группах кабельных модемов и фабричной автоматизации. Дэвид имеет степени B.S. и M.Eng. в электротехнике от Корнельского университета. Его можно связать по david.katz@analog.com.

---

Связанные материалы:

• Сочетание аппаратного и программного обеспечения для лучшего аудио
• Как аудио-процессоры края позволяют голосовую интеграцию в IoT-устройства
• ИИ находит свой голос в аудио-цепочке
• Адаптивные решения ANC привносят улучшенные аудио-возможности
• Проектирование соображений для низкопотребляющих, всегда-включенных систем голосовых команд

Для получения дополнительного контента Embedded подпишитесь на еженедельную рассылку Embedded.