Ядра Arm, разработанные для устройств TinyML

Arm представила два новых IP-ядра, предназначенных для машинного обучения в конечных устройствах, устройствах IoT и других маломощных, чувствительных к стоимости приложениях. Ядро микроконтроллера Cortex-M55 - первое, в котором используется технология векторной обработки Arm Helium, а ускоритель машинного обучения Ethos-U55 представляет собой микроверсию существующего семейства Ethos NPU (нейронных процессоров). Два ядра предназначены для использования вместе, хотя их также можно использовать по отдельности.

Включение приложений искусственного интеллекта и машинного обучения на микроконтроллеры и другие чувствительные к стоимости устройства с низким энергопотреблением и ограниченными ресурсами называется сектором tinyML. С появлением 5G, положившим начало тенденции к большему интеллектуальному развитию оконечных устройств, ожидается, что tinyML вырастет в геометрической прогрессии и выйдет на рынок, охватывающий миллиарды потребительских и промышленных систем.

«Оглядываясь на пять лет назад, мы все можем согласиться с тем, что на этот раз произошла настоящая смена парадигмы в вычислительной технике», - сказал Томас Энсергейкс, старший директор по IoT и встраиваемым технологиям Arm. «За несколько лет мы увидели, как ИИ произвел революцию в том, как аналитика данных работает в облаке, у большинства из нас есть смартфон с расширенным ИИ в наших карманах, и теперь вот следующий шаг - подготовка к ИИ повсюду».

Машинное обучение, в том числе приложения для распознавания голоса и компьютерного зрения, будет все больше использоваться в микроконтроллерах. Появляется ряд альтернативных микроконтроллеров на основе ядер Arm и других, которые Arm нацелена на эти два новых ядра.

«Мы знаем, что все эти данные на уровне конечных точек не могут вернуться в облако», - сказал Энсергейкс. «Видеокамеры в доме или умном городе создают буквально гигабайты данных в день, и инфраструктура не предназначена для этого восходящего потока данных. Мы убеждены, что то, что нам нужно для масштабирования до миллиардов или триллионов конечных точек IoT, потребует возможности логического вывода ИИ непосредственно в конечной точке IoT. И это должно быть безопасно ».

Cortex-M55

Cortex M-55 - последнее дополнение к хорошо известной серии микроконтроллеров Cortex-M компании Arm. Он разработан как самое ядро ​​Cortex-M, поддерживающее искусственный интеллект.

M55 - первый процессор, использующий новую технологию векторной обработки Helium от Arm, которая обещает в 5 раз более высокую производительность DSP и 15-кратную более высокую производительность машинного обучения по сравнению с предыдущими поколениями Cortex-M. На основе архитектуры Armv8.1-M можно создавать собственные инструкции для оптимизации процессора для конкретных рабочих нагрузок, возможно, чтобы выжать все до последней капли питания.

Объединение M55 и U55 позволяет использовать увеличенную мощность DSP M55, которую можно использовать для предварительной обработки сигнала. Однако M55 может самостоятельно выполнять рабочие нагрузки нейронной сети. Он содержит специальные инструкции для чисел INT8, включая точечное произведение, которое обычно используется в приложениях машинного обучения.

Успешное приложение AIoT «зависит не только от хорошей вычислительной производительности, но и от способности получать нужные данные, правильные коэффициенты и правильные веса машинного обучения в нужное время, поэтому интерфейс памяти процессора был оптимизирован, чтобы иметь возможность обрабатывать все входящие и исходящие данные. «Оно намного более способно, чем любое другое ядро ​​Cortex-M в этом аспекте», - сказал Энсергейкс.

Комбинация Cortex-M55 и Ethos-U55 обладает достаточной вычислительной мощностью для таких приложений, как распознавание жестов, биометрия и распознавание речи (Изображение:Arm)

Ethos-U55

Ethos-U55 позиционируется как первый «микро-NPU» Arm, предлагающий ускорение до 0,5 TOPS (на основе меньшей геометрии, такой как 16 или 7 нм, при работе на частоте 1 ГГц). Компания Arm еще не опубликовала данные об энергоэффективности (TOPS / Вт). Его можно настраивать - можно использовать от 32 до 256 единиц умножения с накоплением (MAC) - и он имеет декодер веса и прямой доступ к памяти для распаковки веса на лету.

Ethos-U55 присоединяется к Ethos N77, N57 и N37, которые для сравнения предлагают 4, 2 и 1 TOPS соответственно. Производительность можно увеличить, используя несколько ядер Ethos.

Cortex-M55 и Ethos-U55 предназначены для совместного использования, но могут использоваться и по отдельности (Изображение:Arm)

Два новых ядра, M55 и U55, предназначены для совместного использования, где они могут обрабатывать задачи машинного обучения в 480 раз быстрее, чем любое устройство Cortex-M предыдущего поколения в отдельности. Арм говорит, что типичные цифры для приложения сквозного голосового помощника с использованием машинного обучения - это 50-кратное ускорение по сравнению с использованием только Cortex-M7 и 25-кратное повышение энергоэффективности.

«Cortex-M будет запускать системный код приложения, а затем, когда требуется обработка рабочей нагрузки нейронной сети, поток команд для этого помещается в SRAM, прерывание дается на U55, и он говорит, что здесь, работайте над этим командный поток », - пояснил Стив Родди, вице-президент группы машинного обучения Arm. «Это может быть единичный вывод единственной модели. U55 работает до завершения, помещает результаты обратно в SRAM, а затем позволяет Cortex-M взять на себя управление. Или это может быть ситуация, когда вы работаете постоянно, пока выполняете какую-то обработку потоковых данных, например аудио или видео ».

Кремний на основе этих новых ядер должен появиться на рынке в начале 2021 года.