Renesas и Syntiant предлагают совместное решение для искусственного интеллекта с голосовым управлением

Renesas Electronics Corporation и Syntiant Corp., поставщик маломощной интеллектуальной обработки голоса и сенсоров на периферийных устройствах, совместно разработали решение мультимодального искусственного интеллекта (AI) с голосовым управлением, обеспечивающее бесконтактную работу с низким энергопотреблением для обработки изображений во встроенном видеонаблюдении. Интернет вещей (IoT) на основе искусственного интеллекта и периферийные системы.

Новое решение сочетает в себе микропроцессор (MPU) Vision AI серии Renesas RZ / V и мультимодальный нейронный процессор принятия решений Syntiant NDP120 с низким энергопотреблением для обеспечения расширенных возможностей обработки голоса и изображений в таких приложениях, как автоматы самообслуживания, камеры видеонаблюдения, видео. конференц-системы и интеллектуальные устройства, такие как роботы для уборки.

Совместное решение обеспечивает постоянную работу с быстрой активацией по голосу из режима ожидания для выполнения распознавания объектов, распознавания лиц и других задач, связанных со зрением, которые являются критически важными функциями в камерах видеонаблюдения и других системах. Например, в то время как определяемые пользователем голосовые подсказки управляют активацией и работой системы, распознавание Vision AI отслеживает поведение оператора и контролирует работу или выдает предупреждение при обнаружении подозрительных действий.

Мультимодальная архитектура упрощает создание бесконтактных пользовательских интерфейсов для систем Vision на основе искусственного интеллекта. Использование специального энергоэффективного чипа для распознавания голоса снижает энергопотребление в режиме ожидания и ускоряет разработку системы, поскольку можно разрабатывать программное обеспечение независимо от функций Vision AI.

MPU Renesas серии RZ / V включает ускоритель DRP-AI (динамически реконфигурируемый процессор-AI) Renesas и сочетает в себе высокоточный логический вывод ИИ с энергоэффективностью, которая, по утверждению Renesas, является одной из лучших в отрасли. Эта превосходная мощность устраняет необходимость в мерах по рассеиванию тепла, таких как радиаторы или охлаждающие вентиляторы, что снижает стоимость спецификации и позволяет интегрировать компьютерный искусственный интеллект в широкий спектр встраиваемых приложений. DRP-AI состоит из AI-MAC и DRP (динамически реконфигурируемого процессора), которые могут эффективно обрабатывать операции на сверточном и всестороннем уровнях за счет оптимизации потока данных с помощью внутренних коммутаторов. DRP может гибко и быстро обрабатывать сложную обработку, такую ​​как предварительная обработка изображений и уровни объединения моделей искусственного интеллекта, путем динамического изменения конфигурации оборудования. Предоставленный транслятор DRP-AI автоматически назначает каждый процесс модели AI AI-MAC и DRP, что позволяет пользователю легко использовать DRP-AI, не зная об оборудовании. Множественные исполняемые файлы, выводимые транслятором DRP-AI, могут быть помещены во внешнюю память. Это позволяет динамически переключаться между несколькими моделями ИИ как системой. Кроме того, переводчик DRP-AI может постоянно обновляться для поддержки недавно разработанных моделей AI без изменения оборудования.

Чип Syntiant NDP120 включает в себя сложные возможности искусственного интеллекта, которые можно использовать для реализации многих высокоточных голосовых функций без использования рук, включая распознавание говорящего, обнаружение ключевых слов, множественные слова пробуждения и локальное распознавание команд. Оснащенный механизмом логического вывода нейронной сети Syntiant Core 2, NDP120 также может запускать несколько приложений одновременно, при этом потребление энергии снижается до 1 мВт от батареи.

Выступая от имени Renesas, Хирото Нитта сказал:«Мы ожидаем, что спрос на мультимодальные системы, использующие несколько потоков входной информации - как изображения, так и голоса, - будет расти в будущем как способ повышения простоты использования и безопасности». Нитта, старший вице-президент и глава подразделения SoC в бизнес-подразделении IoT и инфраструктуры, добавил:«Благодаря сотрудничеству между Renesas, лидером в области технологий искусственного интеллекта для изображений с низким энергопотреблением, и Syntiant, лидером в области голосовых технологий искусственного интеллекта, мы будем ускорить внедрение маломощной и сверхмалой технологии интеллектуального голосового интеллекта во встроенных системах и предоставить клиентам по всему миру новые комбинированные решения ».

Генеральный директор Syntiant Курт Буш сказал:«Голосовые пользовательские интерфейсы позволят клиентам предоставлять новый пользовательский опыт, который воплощает новое поколение инновационных идей от концепции к реальности. Мы уже отправили более 15 миллионов наших NDP для глубокого обучения по всему миру, чтобы обеспечить постоянную голосовую связь в широком спектре потребительских и промышленных приложений Интернета вещей. Благодаря нашему сотрудничеству с Renesas мы получили мощное и маломощное решение для передачи голоса и изображений, которое, несомненно, ускорит привлечение клиентов по всему миру с использованием различных устройств и сценариев использования ».

Новое мультимодальное ИИ-решение с голосовым управлением использует несколько взаимно совместимых устройств из более широкого портфеля Renesas, чтобы предоставить клиентам улучшенную платформу для создания прототипов, чтобы ускорить выход на рынок и снизить риски. Новое решение является частью «выигрышных комбинаций» Renesas, в которых представлены убедительные комбинации аналоговых, мощных и встроенных продуктов обработки, которые помогают клиентам ускорить разработку и выход на рынок.

Эталонный дизайн нового мультимодального решения AI уже доступен, включая принципиальные схемы и списки спецификаций.