Микроконтроллеры эволюционируют для питания AIoT

Сочетание ИИ с IoT дает AIoT — расширяющуюся область, где микроконтроллеры теперь размещают сложное машинное обучение благодаря прорывам в сжатии и оптимизации нейросетей. Современные смартфонные приложения процессоры рутинно выполняют ИИ-вывод для задач такого как анализ изображений и рекомендательные движки, демонстрируя, что высокопроизводительное ML больше не ограничено суперкомпьютерами.

Экосистема миллиардов IoT устройств получит возможности машинного обучения в ближайшие пару лет (Изображение: NXP)

Развертывание такого интеллекта на низкопотребляющих микроконтроллерах открывает трансформационные сценарии использования: ИИ-управляемые слуховые аппараты, подавляющие фоновый шум, умные приборы, идентифицирующие пользователей и применяющие персонализированные профили, или сенсорные узлы, работающие годами на микрожулевых энергобюджетах. Краевой вывод снижает латентность, повышает безопасность данных и сохраняет приватность пользователя.

Однако внедрение ML на микроконтроллерах остается сложным. Ограниченные SRAM и флеш ограничивают размер нейромоделей, и вычислительная пропускная способность скромна. Быстрые достижения в квантовании и обрезке моделей, связанные с вендор-специфическим тулингом, стабильно сужают этот разрыв.

TinyML набирает импульс

Быстрое расширение отрасли отражается в TinyML Summit, событии в Кремниевой долине, привлекающем 27 спонсоров в этом году против 11 в прошлом, с регистрационными слотами, заполненными за месяцы заранее. Организаторы также сообщили о всплеске членства в их глобальных ежемесячных встречах, ориентированных на дизайн.

"Мы предвидим триллионы интеллектуальных устройств, питаемых TinyML, каждое чувствующее, анализирующее и автономно действующее для создания более здоровых, более устойчивых сред", — сказал Евгений Гусев из Qualcomm, со-председатель TinyML Committee, в открывающем ключевом выступлении.

Он приписал этот импульс более энергоэффективному железу, уточненным алгоритмам и зрелым программным стекам, отмечая рост корпоративных и венчурных инвестиций, а также увеличение стартап-активности и M&A.

TinyML Committee теперь считает технологию валидированной, предсказывая, что ранние ИИ-включенные микроконтроллерные продукты войдут на рынок в течение 2–3 лет, в то время как действительно трансформационные приложения могут появиться через 3–5 лет.

Ключевой вехой стало в прошлом весне раскрытие Google TensorFlow Lite for Microcontrollers — легковесного движка вывода, адаптированного для устройств с только килобайтами RAM. Ядро runtime занимает всего 16 КБ на ARM Cortex-M3, а полная модель обнаружения ключевых слов речи помещается в 22 КБ. Библиотека поддерживает только вывод, не обучение.

Лидеры индустрии следят за TinyML

Крупные вендоры микроконтроллеров внимательно следят за прогрессом TinyML, так как сжатие нейромоделей расширяет их продуктовые возможности. Большинство уже предлагают ML поддержку. Например, STMicroelectronics поставляет STM32Cube.AI, пакет расширения, отображающий и запускающий нейросети на своем STM32 ARM Cortex-M семействе. Renesas предоставляет e-AI среду разработки, переводящую модели в C/C++ совместимый код через свой e² Studio. NXP сообщает о клиентах, развертывающих машинное обучение на своих низкоуровневых Kinetis и LPC MCU, интегрируя ИИ через аппаратное и программное обеспечение, особенно в своих кроссовер-процессорах, связывающих приложения процессоры и микроконтроллеры.

Arm-центричная архитектура

Arm доминирует на рынке микроконтроллеров с серией Cortex-M. Фирма недавно представила ядро Cortex-M55, спроектированное для ML нагрузок и парное с ИИ-ускорителем Ethos-U55, оба нацеленные на ультра-низкопотребляющие, ресурсо-ограниченные среды. Вместе они доставляют достаточно вычислений для распознавания жестов, биометрии и распознавания речи.

Используемые в тандеме, Cortex-M55 и Ethos-U55 Arm имеют достаточно вычислительной мощности для приложений таких как распознавание жестов, биометрия и распознавание речи (Изображение: Arm)

Так как могут меньшие фирмы дифференцироваться против укоренившейся экосистемы Arm?

CEO XMOS Марк Липпетт пошутил: "Нельзя победить Arm, строя еще один Arm-базированный SoC — они отлично делают это. Единственный способ — ввести архитектурные преимущества — и производительность, и гибкость". Xcore.ai XMOS, кроссовер-процессор для голосовых интерфейсов, иллюстрирует эту философию, хотя не напрямую конкурирует с микроконтроллерами.

Масштабирование напряжения и частоты в ультра-низкопотребляющих чипах

Во время TinyML Summit Eta Compute раскрыла ECM3532 — ультра-низкопотребляющее устройство, способное на always-on обработку изображений и сенсорную фузию с энергобюджетом 100 мкВт. Оно включает ядро ARM Cortex-M3 и ядро DSP NXP CoolFlux; любое или оба могут обрабатывать ML нагрузки. Ключевая инновация чипа — непрерывное масштабирование тактовой частоты и напряжения для обоих ядер, устраняющее необходимость в фазовой закрепленной петле и драматически снижающее потребление энергии.

Eta Compute ECM3532 использует ядро Arm Cortex-M3 плюс ядро DSP NXP CoolFlux. Машинное обучение нагрузку может обрабатывать любое или оба (Изображение: Eta Compute)

С возникающими конкурентами такими как RISC-V, почему Eta Compute выбрала ядро Arm для своего ML ускорения?

Туксбери объяснил EETimes: "Экосистема Arm просто более зрелая. Легче вывести продукт на рынок с Arm, чем с RISC-V в настоящее время, хотя это может эволюционировать. RISC-V превосходен на китайском рынке, но мы нацелены на домашних и европейских клиентов, где экосистема Arm сильней".

Туксбери подсветил, что AIoT охватывает широкий, фрагментированный рынок с многочисленными нишевыми приложениями, генерирующими скромные объемы. Коллективно, однако, сектор может охватывать миллиарды устройств. Он подчеркнул, что разработчики должны избегать стоимости адаптации решений для каждого сценария использования; гибкость и простота использования поэтому критичны, что предоставляет экосистема Arm.

В прошлом октябре Arm анонсировала, что позволит клиентам создавать кастомные инструкции для специализированных нагрузок таких как ML. Эта способность, будучи примененной к будущим ядрам, может еще больше снизить потребление энергии.

Пока текущее M3 ядро не может воспользоваться этой функцией, Туксбери оптимистичен: "Абсолютно, мы планируем использовать кастомный набор инструкций Arm в следующих поколениях продуктов, чтобы протолкнуть энергоэффективность еще дальше".

Новые ISA опции: RISC-V

Открытый ISA RISC-V убирает лицензионные сборы и позволяет дизайнерам добавлять проприетарные расширения. Компании могут адаптировать ядра к специфическим нагрузкам, защищая IP по необходимости. GreenWaves, французский стартап, использует RISC-V ядра в своих чипах GAP8 и GAP9 — 8-ядерных и 9-ядерных кластерах соответственно. Архитектура GAP9 теперь включает 10 RISC-V ядер.

Архитектура GreenWaves GAP9 ультра-низкопотребляющего ИИ чипа теперь использует 10 RISC-V ядер (Изображение: GreenWaves)

VP GreenWaves Мартин Крум сказал EETimes, что конфигурируемость RISC-V на уровне инструкций — решающее преимущество. Кастомные расширения позволяют значительные снижения энергии для ML и сигнальной обработки. Для новой компании создание таких кастомных ядер было бы запретительно дорого на других архитектурах, где лицензирование или IP затраты взорвались бы.

Кастомные расширения в одиночку дают 3,6× улучшение энергоэффективности против немодифицированных RISC-V ядер. Крум также похвалил современный, чистый ISA RISC-V, который снижает сложность реализации и, следовательно, потребление энергии. Точный контроль над исполнением каждого ядра необходим для максимизации энергоэффективности — то, чем RISC-V облегчает.

Крум признал, что если Arm мог бы предоставить тот же уровень кастомизации, это был бы естественный выбор. Однако зрелый программный тулинг Arm сейчас превосходит RISC-V, хотя экосистема последней быстро зреет.

В резюме, пока некоторые видят доминирование Arm как эродирующее, компания контрарирует, позволяя кастомные расширения и разрабатывая ML-ориентированные ядра с нуля. И Arm, и не-Arm решения теперь доступны для ультра-низкопотребляющего ИИ, и по мере того как TinyML сообщества продолжают сжимать размеры моделей и уточнять фреймворки, рынок готов расцвести.