Как граничные аудиопроцессоры обеспечивают интеграцию голоса в устройствах Интернета вещей

Выделенные граничные аудиопроцессоры с акцентом на точность воспроизведения звука и Оптимизированные ядра с машинным обучением являются ключом к обеспечению устройств IoT голосовыми пользовательскими интерфейсами без необходимости подключения к Интернету с высокой пропускной способностью.
Возможности обработки голоса быстро появляются в потребительских продуктах, таких как iOttie Aivo Connect. (Источник:Ноулз)

От домашней автоматизации и электронной коммерции до здравоохранения и автомобилестроения все больше отраслей теперь объединяют возможности Интернета вещей с интеграцией голоса, чтобы удовлетворить меняющиеся потребности и получить преимущества для бизнеса. Тем не менее, голосовая связь все еще находится на ранних этапах внедрения и только начинает распространяться за пределы мобильных устройств и динамиков. Голос станет стандартным методом взаимодействия между пользователями и их устройствами Интернета вещей. Этот переход к первоочередному использованию голоса подкреплен не только идеей о повышении уровня комфорта потребителей с помощью технологий. Глобальная мобильность голосовых устройств для голосового поиска на ходу, прогресс в обработке естественного языка (NLP) и достижения в области искусственного интеллекта и машинного обучения позволят новым приложениям быстро развиваться.

Приятное и увлекательное голосовое взаимодействие ограничивается стабильным качеством звука в присутствии шума и других отвлекающих факторов. Способность вашего устройства интеллектуально управлять звуком - это то, что влияет на вашу способность общаться. Ожидается, что постоянно включенный голосовой пользовательский интерфейс (VUI) станет обычным явлением в большем количестве потребительских товаров, включая аудио- и видеоустройства, бытовую технику, а также в широком спектре устройств с батарейным питанием, таких как пульты дистанционного управления, носимые устройства, Bluetooth. колонки, камеры безопасности и активного отдыха. Несмотря на то, что существуют проблемы проектирования, которые необходимо преодолеть, у поставщиков компонентов и OEMS есть большие возможности для создания продуктов, удовлетворяющих эти потребности приложений.

Чтобы в полной мере использовать возможности интеграции голосовой связи по мере их развития, все больше технологий обработки перемещаются на периферию, подальше от облака. Результатом являются улучшенные пользовательские интерфейсы с меньшей задержкой и сниженной стоимостью как в долларах, так и в полосе пропускания. Производители, разрабатывающие решения CE на базе Интернета вещей завтрашнего дня, должны рассматривать интеграцию голосовой связи как необходимое условие продукта. OEM-производители, которые могут развернуть выделенную обработку голоса на периферии, смогут масштабировать эти приложения и расширять свои портфели.

В этой статье обсуждаются наиболее распространенные проблемы с внедрением VUI для постоянно включенных / постоянно прослушивающих устройств IoT. В статье рассматриваются связанные требования и возможности проектирования, необходимые для эффективного удовлетворения этих требований, включая интеграцию с интерфейсами управления, стеками программного обеспечения, разработку алгоритмов и разработку приложений пользовательского пространства.

Интеграция процессоров Audio Edge в устройства IoT

Выделенные периферийные звуковые процессоры с упором на точность воспроизведения звука и с ядрами, оптимизированными для машинного обучения, являются ключом к поддержке высококачественных устройств аудиосвязи. Эти процессоры могут обеспечить достаточную вычислительную мощность для обработки звука с использованием традиционных алгоритмов и алгоритмов машинного обучения, используя при этом небольшой процент энергии обычного процессора. И поскольку обработка происходит на устройстве, это значительно быстрее, чем отправка этой информации в облако и обратно.

Устройства IoT объединяют аудиопроцессоры, чтобы добавить широкие возможности, такие как голосовое пробуждение. Хотя облако может предложить некоторые большие преимущества, пограничная обработка позволяет пользователям использовать все возможности своего устройства в любое время без необходимости подключения к Интернету с высокой пропускной способностью. Например, граничные аудиопроцессоры обеспечивают превосходное взаимодействие с пользователем при виртуальном общении за счет обработки звука с малой задержкой и контекстными данными, при этом сохраняя локальные и безопасные контекстные данные.

Проблемы с интеграцией голоса

Возможности приложений для голосового вызова, управления и взаимодействия продолжают расти. Однако чем больше устройств, тем больше фрагментация, что затрудняет интеграцию голоса. То, как вы интегрируете голосовое управление в каждое приложение - будь то динамики Bluetooth, бытовая техника, наушники, носимые устройства или лифты, - будет отличаться. Добавление триггера голосового пробуждения может быть простым, но проектирование Bluetooth-динамика и гарнитуры корпоративного уровня намного сложнее. Если этот динамик будет включать настоящую беспроводную стереосистему (TWS), сложность снова возрастет.

Кроме того, для различных приложений требуется голосовая интеграция с различными экосистемами. Например, вам необходимо работать в экосистеме Linux, чтобы реализовать голосовую связь на большинстве интеллектуальных телевизоров, но для передачи голоса на домашнем устройстве потребуется работа в экосистеме микроконтроллера (MCU). Для всех этих интеграций существует общий рекомендуемый способ сделать это, но всегда есть варианты, которые усложняют работу.

Высококачественные решения для разработки, предназначенные для массового рынка, имеют решающее значение для преодоления этих проблем и быстрого вывода на рынок новых технологий для поддержки быстро развивающихся способов нашей работы, жизни и общения. Для решения этих задач подходящие решения должны соответствовать множеству требований к дизайну.

Выполнение основных требований к дизайну

Потребляемая мощность

Чтобы устройство VUI получало команды, оно должно быть всегда включено / всегда прослушивать команды. Независимо от того, подключены ли эти устройства к розетке, и особенно если они работают от батарей, ограничение энергопотребления может стать серьезной проблемой при проектировании.

В системе голосовых команд всегда должен быть активен хотя бы один микрофон, и процессор, которому поручено распознавать слово пробуждения, также должен быть активен. Пограничные аудиопроцессоры, разработанные с использованием проприетарных архитектур, аппаратных ускорителей и специальных наборов инструкций, могут оптимально запускать аудио и алгоритмы машинного обучения. Эти оптимизации помогают снизить энергопотребление.

Задержка

Для устройств с голосовой активацией нет допуска по задержке. Даже если ощущаемая задержка превышает 200 миллисекунд, люди начинают разговаривать друг с другом во время голосовых вызовов или повторять свои команды голосовому помощнику. Чтобы разработать устройства с интегрированной голосовой связью, которые получат необходимое признание потребителей, инженеры и разработчики продуктов должны обеспечить оптимизированные звуковые цепочки по всей системе, чтобы они соответствовали отраслевым спецификациям и были удобны для пользователей. Таким образом, обработка с низкой задержкой в ​​пограничных процессорах является критическим требованием для обеспечения высококачественной голосовой связи.

Интеграция

Поскольку существует множество вариантов выбора оборудования и программного обеспечения для различных реализаций VUI, существуют требования, которые могут стать проблемой на различных этапах стадии интеграции. Некоторые ключевые аспекты дизайна, которые следует учитывать в процессе, включают те, которые обсуждаются ниже.

Интеграция оборудования

Существуют различные аппаратные архитектуры для реализации системы VUI в зависимости от использования устройства, приложения и экосистемы. Каждое устройство VUI будет включать в себя микрофоны, либо один микрофон, либо массив микрофонов, подключенный к аудиопроцессору для захвата и обработки звука. В этой недавней статье по Embedded от Knowles мой коллега рассматривает аспекты аппаратной архитектуры для реализации системы VUI, а также преимущества и недостатки каждой из них.

Интеграция программного обеспечения хоста

Как упоминалось выше, существуют различные операционные системы и драйверы на выбор. В идеале аудиопроцессор должен поставляться с прошивкой и набором драйверов, которые настраиваются для подключения к главному процессору. Операционная система, например Android или Linux, обычно работает на главном процессоре.

Компоненты программного обеспечения драйвера, которые работают в пространстве ядра, взаимодействуют с микропрограммным обеспечением через интерфейс управления, и аудиоданные из пограничного аудиопроцессора могут быть прочитаны в пользовательском пространстве через стандартный интерфейс Advanced Linux Sound Architecture (ALSA).

Чтобы интегрировать программное обеспечение с остальной частью хост-системы, подключение драйвера аудиопроцессора, предоставленного в пакете выпуска программного обеспечения, к образу ядра может стать сложной задачей. Это включает в себя копирование исходного кода драйвера в дерево исходных кодов ядра, обновление некоторых файлов конфигурации ядра и добавление записей в дерево устройств согласно соответствующей конфигурации оборудования.

Решением этого может быть использование предварительно интегрированных стандартных эталонных проектов с точными или аналогичными конфигурациями.

В идеальной ситуации пограничный аудиопроцессор будет предоставлять оптимизированные программные стеки для интеграции и поставляться с предварительно интегрированными и проверенными алгоритмами в качестве решения системного уровня для дальнейшего упрощения процесса.

Интеграция алгоритма

Пока мы поговорим об интеграции алгоритмов. Обычно существует несколько каскадных алгоритмов для переключения между разными вариантами использования в любой момент времени. Даже для голосового пробуждения конструкция требует мульти-микрофонных формирователей луча, пограничного механизма голосового пробуждения и облачной проверки. Это означает, что по крайней мере три алгоритма работают вместе для оптимизации производительности. Для любого устройства, интегрируемого с ключевыми словами Alexa или Google Home, должно быть несколько алгоритмов, часто от разных поставщиков, которые необходимо оптимизировать вместе на одном устройстве.

Одним из решений является выбор граничного аудиопроцессора, который поставляется с предварительно интегрированными проверенными алгоритмами, разработанными и протестированными независимо от хост-системы.

Интеграция форм-фактора

Сегодня устройства могут принимать множество форм-факторов. У каждого из них своя конфигурация из нескольких установленных микрофонов. Расстояние и расположение микрофонов и динамиков играют большую роль в производительности. Настройка и оптимизация производительности должны меняться в зависимости от окончательного форм-фактора и целевых вариантов использования. Существуют также варианты изготовления, которые влияют на характеристики, такие как герметизация микрофона, акустическая обработка устройства, гашение вибрации и многое другое.

Конфиденциальность

Многие аудиопроцессоры обнаруживают пробуждающее слово, а затем немедленно отправляют информацию в облако, где она интерпретируется и обрабатывается. Большая проблема заключается в том, что после того, как аудиоданные находятся в облаке, пользователь теряет контроль над данными, следовательно, подвергается высокому риску конфиденциальности. Решением этой проблемы является выбор периферийных ИИ-процессоров, которые могут выполнять логику интерпретации команд и ответов на устройстве локально, «на периферии».

Это позволяет конфиденциальным персональным аудиоданным оставаться локальными, не отправляя их в облако, где они могут использоваться против наших желаний. Реализация VUI теперь не только намного более конфиденциальна, но и позволяет быстрее реагировать, что делает взаимодействие пользователей более естественным. Это отличный пример того, как периферийные ИИ-процессоры могут улучшить существующие варианты использования, чтобы максимизировать полезность устройств, которые мы используем и которым доверяем каждый день.

Аппаратный и программный интерфейс

Требования к дизайну для реализаций VUI могут быть сложными и могут затруднить быстрый вывод на рынок устройств с голосовой интеграцией. Производители оригинального оборудования и системные интеграторы могут значительно снизить риск, работая со стандартными наборами для разработки решений, такими как стандартный набор решений Knowles AISonic Bluetooth. Такие комплекты предлагают предварительно сконфигурированные отправные точки для прототипов, которые позволяют дизайнерам разрабатывать свои собственные инновации, не беспокоясь о проблемах проектирования, которые мы обсуждали выше. Дизайнерам следует искать комплекты средств разработки, в которых есть предварительно интегрированные и проверенные алгоритмы, предварительно настроенные микрофоны и драйверы, совместимые с центральным процессором и операционными системами.

Пограничные аудиопроцессоры, открывающие свои архитектуры и среды разработки, ускоряют инновации, предоставляя разработчикам аудиоприложений инструменты и поддержку для создания новых устройств и приложений. Будущие аудиоустройства станут результатом совместных усилий.