Arm представляет Cortex-M55 и Ethos-U55: новые IP-ядра для TinyML на низкопотребляющих конечных точках

Arm сегодня запустила два передовых IP-ядра, приносящие продвинутые возможности машинного обучения к ресурсо-ограниченным конечным точкам, включая IoT и низкопотребляющие устройства. Микроконтроллер Cortex-M55 — первый, интегрирующий векторный движок Helium Arm, в то время как Ethos-U55 — компактная версия флагманских NPU Ethos. Хотя спроектированы для совместного развертывания, каждое ядро может работать независимо.

Развертывание ИИ на микроконтроллерах — обычно называемое TinyML — становится все более критичным, так как 5G сети стимулируют интеллект на краю. Эксперты прогнозируют, что рынок TinyML расширится до миллиардов потребительских и промышленных систем, доставляя инсайты в реальном времени без зависимости от облака.

"Когда мы оглянемся назад через пять лет, мы все можем согласиться, что это время стало настоящим парадигмальным изменением в вычислениях", — сказал Томас Энсергэ, старший директор по IoT и встроенным системам, Arm. "Мы видели за несколько лет, как ИИ революционизировал аналитику данных в облаке, большинство из нас имеют ИИ-усиленные смартфоны в карманах, и вот следующий шаг — готовность к ИИ везде".

Умные домашние устройства, такие как умные колонки, смогут выполнять вывод машинного обучения сами (Изображение: Sebastian Scholz/Unsplash)

Распознавание голоса, компьютерное зрение и другие ML-нагрузки смещаются из облака в сам микроконтроллер. Новые ядра Arm нацелены на растущую экосистему микроконтроллерных решений, приоритизирующих на-device вывод.

"Мы знаем, что все эти данные на уровне конечной точки не могут возвращаться в облако", — сказал Энсергэ. "Видеокамеры в доме или умном городе создают гигабайты данных в день, и инфраструктура не построена для этого восходящего потока. Мы убеждены, что для масштабирования до миллиардов или триллионов IoT конечных точек нам понадобится способность ИИ-вывода прямо в IoT конечной точке. И это должно быть безопасно".

Cortex-M55

Cortex-M55 строится на надежном семействе Cortex-M, предлагая высшую ИИ производительность на сегодня. Используя архитектуру Armv8.1-M, он поддерживает кастомные инструкции, позволяющие разработчикам адаптировать ядро для специфических нагрузок, выжимая максимальную эффективность.

Технология векторной обработки Helium дает 5× быстрее DSP и 15× быстрее ML производительность над предыдущими поколениями Cortex-M.

Кастомные инструкции для INT8 операций, включая скалярное произведение, ускоряют вывод нейронных сетей.

"Успешное AIoT приложение зависит не только от хорошей вычислительной производительности, но и от способности получить правильные данные, правильные коэффициенты и правильные веса машинного обучения в правильное время, поэтому память интерфейс процессора оптимизирован для обработки всех данных входящих и исходящих. Он намного более способен, чем любое другое ядро Cortex-M в этом аспекте", — сказал Энсергэ.

Комбинация Cortex-M55 и Ethos-U55 имеет достаточно вычислительной мощности для приложений таких как распознавание жестов, биометрия и распознавание речи (Изображение: Arm)

Ethos-U55

Ethos-U55 — первый «микро-NPU» Arm, выдающий до 0,5 TOPS ускорения на 1 ГГц. Настраиваемый от 32 до 256 MAC, он включает на-чип декодер весов и DMA для декомпрессии весов в реальном времени, уменьшая память фуутпринт.

По сравнению с более крупными братьями — Ethos-N77 (4 TOPS), N57 (2 TOPS) и N37 (1 TOPS) — U55 предлагает плотное, низкопотребляющее решение, которое можно масштабировать путем стэкинга нескольких ядер.

Cortex-M55 и Ethos-U55 спроектированы для совместной работы, но могут использоваться отдельно (Изображение: Arm)

Два новых ядра, M55 и U55, спроектированы для работы в тандеме, выдавая до 480× ускорения над любым предыдущим устройством Cortex-M в одиночку. Для типичных голосовых ассистентских нагрузок Arm сообщает 50× ускорение и 25× улучшение энергоэффективности по сравнению с Cortex-M7.

"Cortex-M запускает системный код приложения, а затем, когда требуется нейросетевая нагрузка, командный поток помещается в SRAM, прерывание выдается U55, и он берет управление. U55 выполняет до завершения, возвращает результаты в SRAM, и затем Cortex-M возобновляет контроль. В потоковых сценариях U55 может обрабатывать непрерывные аудио или видео данные", — объяснил Стив Родди, вице-президент группы машинного обучения в Arm.

Кремний на базе этих новых ядер должен выйти на рынок в начале 2021 года.