Renesas и Syntiant запускают низкоэнергетический голосовой управляемый Vision AI для встроенных IoT систем

Renesas Electronics Corporation и Syntiant Corp. партнерятся для создания низкоэнергетической, голосово-управляемой мультимодальной AI платформы, доставляющей бесконтактную обработку изображений для встроенных vision-AI IoT и пограничных приложений.

Интеграция Renesas RZ/V серии vision-AI микропроцессорного блока (MPU) с ультра-низкоэнергетическим нейронным решением процессора NDP120 Syntiant доставляет передовые голосовые и образные процессы для вариантов использования, варьирующихся от самообслуживающих киосков и камер безопасности до видеоконференцсистем и умных приборов, таких как робот-пылесосы.

Общее решение предлагает всегда-включенный режим, позволяющий быстрый голосовой триггер пробуждения из ожидания, обеспечивая объектное и лицевое распознавание, а также другие vision-базированные задачи, существенные для камер безопасности и подобных систем. Пользователь-дефинированные голосовые подсказки инициируют активацию и операцию, в то время как vision AI отслеживает поведение оператора и может оповещать операторов при обнаружении подозрительной активности.

Разделяя распознавание голоса на выделенный, энергоэффективный чип, архитектура снижает потребление энергии в ожидании и ускоряет разработку. Разработчики могут программировать голосовые и vision компоненты независимо, упрощая интеграцию.

Renesas RZ/V серии MPU включает DRP-AI (динамически переконфигурируемый процессор-AI) ускоритель, комбинирующий высокоточный инференс с энергоэффективностью, которую Renesas заявляет среди лучших в отрасли. Эта производительность устраняет необходимость в теплоотводах или кулерах, снижая стоимость BOM и позволяя vision-AI интеграцию через широкий спектр встроенных приложений. DRP-AI построен из AI-MAC и DRP ядер, которые эффективно обрабатывают сверточные и полностью-связанные слои путем оптимизации потока данных с внутренними коммутаторами. DRP может динамически переконфигурироваться для обработки сложных задач таких как предобработка изображения и AI модель пулинг слои быстро. DRP-AI транслятор автоматически отображает AI модель операции к соответствующему железу, позволяя разработчикам использовать DRP-AI без детальных знаний железа. Множество исполняемых файлов могут находиться во внешней памяти, позволяя динамическое переключение между AI моделями во время выполнения, и транслятор может быть обновлен для поддержки новых моделей без изменений железа.

Syntiant NDP120 чип включает изощренные AI возможности, поддерживающие высокоточные, руки-свободные голосовые функции, включая распознавание говорящего, обнаружение ключевых слов, множественные пробудительные слова и локальное распознавание команд. В паре с Syntiant Core 2 нейронной-сети инференс движком, NDP120 может запускать множественные приложения одновременно при потреблении всего 1 мВт батарейной мощности.

Говоря за Renesas, Хирото Нитта, старший вице-президент и глава SoC бизнеса в IoT и Инфраструктурном блоке, сказал: «Мы предвидим, что спрос на мультимодальные системы, использующие множественные потоки входной информации — как образ, так и голос — будет расти движением вперед как способ улучшить как легкость использования, так и безопасность». Он добавил: «Через сотрудничество между Renesas, лидером в низкоэнергетической образной AI технологии, и Syntiant, лидером в голосовой AI технологии, мы ускорим принятие низкоэнергетических, ультра-малых умных голосовых AI технологий в встроенных системах и доставим новые комбинированные решения клиентам глобально».

CEO Syntiant Курт Буш отметил: «Голосовые пользовательские интерфейсы сделают возможным для клиентов доставлять новые пользовательские опыты, приносящие следующее поколение инновационных идей от концепции к реальности. Мы уже отправили более 15 миллионов наших глубокого обучения NDP глобально для обеспечения всегда-включенного голоса в широком спектре потребительских и промышленных IoT приложений. Наше сотрудничество с Renesas доставляет мощное, низкоэнергетическое голосовое и образное решение, которое определенно ускорит притяжение среди глобальной клиентской базы в разнообразных устройствах и вариантах использования».

Новое голосово-управляемое мультимодальное AI решение опирается на множественные совместимые устройства из более широкого портфолио Renesas, предоставляя клиентам поднятую прототипирующую платформу для более быстрого времени на рынок и сниженного риска. Как часть Renesas «winning combinations», которые парят убедительные аналоговые, питание и встроенные обработки продукты, решение помогает клиентам ускорить дизайн и запуск новых продуктов быстрее.

Эталонный дизайн для мультимодального AI решения, включая схемы и списки BOM, теперь доступен.