Архитектура микроконтроллеров развивается для ИИ

Что вы получите, если скрестите ИИ с Интернетом вещей? AIoT - это простой ответ, но вы также получаете огромную новую область применения для микроконтроллеров, доступную благодаря достижениям в технологиях нейронных сетей, что означает, что машинное обучение больше не ограничивается миром суперкомпьютеров. В наши дни процессоры приложений для смартфонов могут (и делают) выполнять логический вывод ИИ для обработки изображений, механизмов рекомендаций и других сложных функций.

В ближайшие пару лет экосистема из миллиардов устройств Интернета вещей получит возможности машинного обучения (Изображение:NXP)

Придание такого рода возможностей скромному микроконтроллеру открывает огромные возможности. Представьте себе слуховой аппарат, который может использовать ИИ для фильтрации фонового шума от разговоров, умную бытовую технику, которая может распознавать лицо пользователя и переключаться на его персонализированные настройки, и сенсорные узлы с поддержкой ИИ, которые могут годами работать от самых маленьких батарей. Обработка данных на конечной точке дает преимущества в отношении задержки, безопасности и конфиденциальности, которые нельзя игнорировать.

Однако добиться осмысленного машинного обучения с устройствами на уровне микроконтроллеров - непростая задача. Например, память, ключевой критерий для вычислений AI, часто сильно ограничена. Но наука о данных быстро развивается, чтобы уменьшить размер модели, и поставщики устройств и IP-адресов в ответ разрабатывают инструменты и включают функции, адаптированные к требованиям современного машинного обучения.

TinyML взлетает

Как признак быстрого роста этого сектора, TinyML Summit (новое отраслевое мероприятие, проведенное в начале этого месяца в Кремниевой долине) набирает обороты. По словам организаторов, на первом саммите, проведенном в прошлом году, было 11 компаний-спонсоров, тогда как на мероприятии в этом году было 27, причем билеты были распроданы намного раньше.>

«Мы видим новый мир с триллионами интеллектуальных устройств, поддерживаемых технологиями TinyML, которые обнаруживают, анализируют и автономно действуют вместе, чтобы создать более здоровую и устойчивую среду для всех», - сказал в своем выступлении сопредседатель комитета TinyML, представитель Qualcomm Евгений Гусев. вступительное слово на выставке.

Гусев объяснил этот рост разработкой более энергоэффективного оборудования и алгоритмов в сочетании с более зрелыми программными инструментами. Он отметил, что корпоративные и венчурные инвестиции растут, равно как и активность стартапов и слияний и поглощений.

Сегодня комитет TinyML считает, что технология прошла валидацию и что первые продукты, использующие машинное обучение в микроконтроллерах, должны появиться на рынке через 2-3 года. Считается, что до появления «приложений-убийц» осталось 3-5 лет.

Большая часть технической проверки была проведена весной прошлого года, когда Google впервые продемонстрировал версию своего фреймворка TensorFlow для микроконтроллеров. TensorFlow Lite для микроконтроллеров разработан для работы на устройствах с объемом памяти всего в килобайтах (время выполнения ядра умещается в 16 КБ на Arm Cortex M3, а с достаточным количеством операторов для запуска модели обнаружения ключевых слов речи занимает в общей сложности 22 КБ). Он поддерживает только вывод (но не обучение).

Крупные игроки

Крупные производители микроконтроллеров, конечно, с интересом следят за развитием сообщества TinyML. По мере того как исследования позволяют моделям нейронных сетей становиться меньше, размер их возможностей становится больше.

Большинство из них поддерживает приложения машинного обучения. Например, у STMicroelectronics есть пакет расширений STM32Cube.AI, который позволяет отображать и запускать нейронные сети на микроконтроллерах на базе Arm Cortex-M семейства STM32.

Renesas имеет среду разработки электронного ИИ, которая позволяет реализовать логический вывод ИИ на микроконтроллерах. Он эффективно переводит модель в форму, которую можно использовать в e ² studio, совместимая с проектами C / C ++.

NXP заявила, что у нее есть клиенты, использующие ее младшие микроконтроллеры Kinetis и LPC для приложений машинного обучения. Компания использует ИИ с аппаратными и программными решениями, хотя в первую очередь ориентирована на свои более крупные прикладные процессоры и кроссоверные процессоры (между прикладными процессорами и микроконтроллерами).

Сильная рука

Большинство известных компаний в области микроконтроллеров имеют одну общую черту:Arm. Гигант в области встроенных процессорных ядер доминирует на рынке микроконтроллеров с серией Cortex-M. Недавно компания анонсировала новое ядро ​​Cortex-M55, которое разработано специально для приложений машинного обучения, особенно при использовании в сочетании с ускорителем Ethos-U55 AI. Оба предназначены для сред с ограниченными ресурсами.

Используемые вместе, Arm Cortex-M55 и Ethos-U55 обладают достаточной вычислительной мощностью для таких приложений, как распознавание жестов, биометрия и распознавание речи (Изображение:Arm)

Но как стартапам и небольшим компаниям стремиться конкурировать с крупными игроками на этом рынке?

«Не путем создания SoC на базе Arm! Потому что они делают это очень хорошо », - засмеялся генеральный директор XMOS Марк Липпет. «Единственный способ соревноваться с этими парнями - иметь архитектурное преимущество… [это означает] внутренние возможности Xcore с точки зрения производительности, но также и гибкости».

Хотя XMOS 'Xcore.ai, его недавно выпущенный кроссоверный процессор для голосовых интерфейсов, не будет напрямую конкурировать с микроконтроллерами, мнение по-прежнему остается верным. Любая компания, производящая SoC на базе ARM, чтобы лучше конкурировать с большими парнями, имеет в своем секрете кое-что особенное.

Масштабирование напряжения и частоты

Startup Eta Compute представила долгожданное устройство со сверхнизким энергопотреблением во время выставки TinyML. Его можно использовать для машинного обучения в приложениях для непрерывной обработки изображений и объединения датчиков с бюджетом мощности 100 мкВт. Чип использует ядро ​​Arm Cortex-M3 плюс ядро ​​NXP DSP - одно или оба ядра могут использоваться для рабочей нагрузки машинного обучения. Секретный соус компании состоит из нескольких ингредиентов, но ключевым является то, как он непрерывно масштабирует тактовую частоту и напряжение для обоих ядер. Это значительно экономит электроэнергию, особенно потому, что достигается без ФАПЧ (фазовой автоподстройки частоты).

В ECM3532 от Eta Compute используется ядро ​​Arm Cortex-M3 и ядро ​​DSP NXP CoolFlux. Рабочая нагрузка машинного обучения может быть обработана одним или обоими (Изображение:Eta Compute)

Теперь, когда у Arm появились жизнеспособные конкуренты, включая развивающуюся архитектуру набора команд, предлагаемую RISC-V Foundation, почему Eta Compute решила использовать ядро ​​Arm для ускорения машинного обучения со сверхнизким энергопотреблением?

«Простой ответ заключается в том, что экосистема для Arm настолько хорошо развита», - сказал Тьюксбери EETimes . . «Просто сейчас гораздо проще перейти в производство [с Arm], чем с RISC-V прямо сейчас. Эта ситуация может измениться в будущем… У RISC-V есть свои преимущества; конечно, это хорошо для китайского рынка, но сейчас мы смотрим в первую очередь на внутренний и европейский рынки с экосистемой для [нашего устройства] ».

Тьюксбери отметил, что основная проблема, стоящая перед AIoT, - это широта и разнообразие приложений. Рынок довольно фрагментирован, и многие относительно нишевые приложения пользуются небольшими объемами. Однако в совокупности этот сектор потенциально распространяется на миллиарды устройств.

«Проблема для разработчиков заключается в том, что они не могут позволить себе инвестировать время и деньги в разработку индивидуальных решений для каждого из этих вариантов использования», - сказал Тьюксбери. «Вот где гибкость и простота использования становятся абсолютно первостепенными. И это еще одна причина, по которой мы выбрали Arm - потому что здесь есть экосистема, есть инструменты, и клиентам легко разрабатывать продукты и быстро выводить их на рынок без особых настроек ».

После того, как ISA на протяжении десятилетий держалась под замком, наконец в октябре прошлого года Arm объявила, что позволит клиентам создавать свои собственные инструкции для обработки специализированных рабочих нагрузок, таких как машинное обучение. Эта возможность, в правильных руках, также может дать возможность еще больше снизить энергопотребление.

Eta Compute пока не может воспользоваться этим преимуществом, поскольку он не применяется ретроспективно к существующим ядрам Arm, поэтому не применим к ядру M3, которое использует Eta. Но может ли Тьюксбери увидеть, как Eta Compute использует пользовательские инструкции Arm в будущих поколениях продуктов, чтобы еще больше снизить энергопотребление?

«Безусловно, да», - сказал он.

Альтернативные ISA

В этом году RISC-V привлек большое внимание. ISA с открытым исходным кодом позволяет разрабатывать процессоры без платы за лицензию, в то время как проекты, основанные на RISC-V ISA, могут быть защищены, как и с любым другим типом IP. Дизайнеры могут выбирать, какие расширения добавить, а также могут добавлять свои собственные расширения.

Французский стартап GreenWaves - одна из нескольких компаний, использующих ядра RISC-V для нацеливания на сверхнизкое энергопотребление в сфере машинного обучения. Его устройства, GAP8 и GAP9, используют 8- и 9-ядерные вычислительные кластеры соответственно.

Архитектура ИИ-чипа GAP9 со сверхнизким энергопотреблением GreenWaves теперь использует 10 ядер RISC-V (Изображение:GreenWaves)

Мартин Крум, вице-президент по развитию бизнеса GreenWaves, объяснил EETimes почему компания использует ядра RISC-V.

«Первая причина заключается в том, что RISC-V дает нам возможность настраивать ядра на уровне набора команд, который мы активно используем», - сказал Крум, объяснив, что настраиваемые расширения используются для снижения мощности рабочих нагрузок как машинного обучения, так и обработки сигналов. . «Когда компания была основана, если вы хотели сделать это с любой другой архитектурой процессора, это было либо невозможно, либо это стоило вам целого состояния. А состояние, которое вам это будет стоить, по сути, было вложением денег вашего инвестора в другую компанию, и это очень трудно оправдать ».

Только специальные расширения GreenWaves дают его ядрам в 3,6 раза больше энергии по сравнению с немодифицированными ядрами RISC-V. Но Крум также сказал, что RISC-V имеет фундаментальные технические преимущества просто потому, что он новый.

«Это очень чистый, современный набор инструкций. Багажа нет. Таким образом, с точки зрения реализации, ядро ​​RISC-V на самом деле является более простой структурой, а простота означает меньшую мощность », - сказал он.

Крум также назвал контроль важным фактором. Устройство GAP8 имеет 8 ядер в своем вычислительном кластере, и GreenWaves нуждается в очень точном и детальном контроле над работой ядра, чтобы обеспечить максимальную энергоэффективность. По его словам, RISC-V позволяет это сделать.

«В конце концов, если бы мы могли сделать все это с помощью Arm, мы бы сделали все это с помощью Arm, это был бы гораздо более логичный выбор… Потому что никого не уволили за покупку Arm», - пошутил он. . «Программные инструменты достигли уровня зрелости, который намного выше, чем у RISC-V… но при этом сейчас так много внимания уделяется RISC-V, что эти инструменты очень быстро становятся зрелыми».

Таким образом, хотя некоторые считают, что удержание Arm на рынке микропроцессоров ослабляется, отчасти из-за усиления конкуренции со стороны RISC-V, компания в ответ разрешает некоторые настраиваемые расширения и с самого начала разрабатывает новые ядра, предназначенные для машинного обучения.

Фактически, на рынок приходят устройства как Arm, так и не-Arm для приложений машинного обучения со сверхнизким энергопотреблением. По мере того как сообщество TinyML продолжает работать над уменьшением размера модели нейронной сети и разработкой специализированных фреймворков и инструментов, этот сектор превратится в здоровую прикладную область, которая будет поддерживать множество различных типов устройств.