Вжимание моделей ИИ в микроконтроллеры

Что вы получите, если скрестите ИИ с Интернетом вещей? Искусственный интеллект вещей (AIoT) - это простой ответ, но вы также получаете огромную новую область применения для микроконтроллеров, доступную благодаря достижениям в технологиях нейронных сетей, которые означают, что машинное обучение больше не ограничивается миром суперкомпьютеров. В наши дни процессоры приложений для смартфонов могут (и делают) выполнять логический вывод ИИ для обработки изображений, механизмов рекомендаций и других сложных функций.

Придание такого рода возможностей скромному микроконтроллеру открывает огромные возможности. Представьте себе слуховой аппарат, который может использовать ИИ для фильтрации фонового шума от разговоров, бытовую технику, которая может распознавать лицо пользователя и переключаться на его персонализированные настройки, и сенсорные узлы с поддержкой ИИ, которые могут годами работать от самых маленьких батарей. Обработка данных на конечной точке дает преимущества в отношении задержки, безопасности и конфиденциальности, которые нельзя игнорировать.

Используемые вместе, Arm Cortex-M55 и Ethos-U55 обладают достаточной вычислительной мощностью для таких приложений, как распознавание жестов, биометрия и распознавание речи ( Изображение:Arm)

Однако добиться осмысленного машинного обучения с устройствами на уровне микроконтроллеров - непростая задача. Например, память, ключевой критерий вычислений ИИ, часто сильно ограничена. Но наука о данных быстро развивается, чтобы уменьшить размер модели, и поставщики устройств и IP-адресов в ответ разрабатывают инструменты и включают функции, адаптированные к требованиям современного машинного обучения.

TinyML набирает обороты

Признаком быстрого роста этого сектора является TinyML Summit, новое отраслевое мероприятие, которое проводится в феврале в Кремниевой долине, и набирает обороты. У первого саммита, проведенного в прошлом году, было 11 компаний-спонсоров; По словам организаторов, в этом году в мероприятии было 27 участников, и билеты на них были распроданы намного раньше. По словам организаторов, посещаемость глобальных ежемесячных встреч дизайнеров TinyML резко возросла.

«Мы видим новый мир с триллионами интеллектуальных устройств, поддерживаемых технологиями TinyML, которые обнаруживают, анализируют и автономно действуют вместе, чтобы создать более здоровую и устойчивую среду для всех», - сказал старший директор Qualcomm Евгений Гусев, сопредседатель комитета TinyML. в своем вступительном слове на недавней конференции.

Гусев объяснил этот рост разработкой более энергоэффективного оборудования и алгоритмов в сочетании с более зрелыми программными инструментами. По его словам, растет объем корпоративных и венчурных инвестиций, а также активности в области стартапов и слияний и поглощений.

В ECM3532 от Eta Compute используется ядро ​​Arm Cortex-M3 и ядро ​​DSP NXP CoolFlux. Рабочая нагрузка машинного обучения может быть обработана одним или обоими (Изображение:Eta Compute)

Сегодня комитет TinyML считает, что технология прошла валидацию и что первые продукты, использующие машинное обучение в микроконтроллерах, должны появиться на рынке через два-три года. Считается, что до появления «приложений-убийц» осталось от трех до пяти лет.

Большая часть технической проверки была проведена весной прошлого года, когда Google впервые продемонстрировал версию своего фреймворка TensorFlow для микроконтроллеров. TensorFlow Lite для микроконтроллеров разработан для работы на устройствах с объемом памяти всего в килобайтах (время выполнения ядра умещается в 16 КБ на Arm Cortex-M3; при достаточном количестве операторов для запуска модели обнаружения ключевых слов речи он занимает в общей сложности 22 КБ. ). Он поддерживает вывод, но не обучение.

Крупные игроки

Крупные производители микроконтроллеров, конечно же, с интересом следят за развитием сообщества TinyML. По мере того как исследования позволяют моделям нейронных сетей становиться меньше, возможности расширяются. Большинство из них поддерживает приложения для машинного обучения. Например, у STMicroelectronics есть пакет расширений STM32Cube.AI, который позволяет отображать и запускать нейронные сети на микроконтроллерах на базе Arm Cortex-M семейства STM32.

Среда разработки электронного искусственного интеллекта Renesas Electronics позволяет реализовать логический вывод на микроконтроллерах. Он эффективно переводит модель в форму, которую можно использовать в студии e2 компании, и совместимую с проектами C / C ++.

NXP Semiconductors заявила, что у нее есть клиенты, использующие ее младшие микроконтроллеры Kinetis и LPC для приложений машинного обучения. Компания использует ИИ с аппаратными и программными решениями, хотя в первую очередь ориентирована на свои более крупные прикладные процессоры и кроссоверные процессоры (между прикладными процессорами и микроконтроллерами).

Сильная рука

Большинство известных компаний в области микроконтроллеров имеют одну общую черту:Arm. Гигант со встроенными процессорами и ядрами доминирует на рынке микроконтроллеров с серией Cortex-M. Недавно компания анонсировала новое ядро ​​Cortex-M55, которое разработано специально для приложений машинного обучения, особенно при использовании в сочетании с ускорителем искусственного интеллекта Arm Ethos-U55. Оба предназначены для сред с ограниченными ресурсами. Но как стартапы и небольшие компании могут стремиться конкурировать с крупными игроками на этом рынке?

«Не путем создания SoC на базе Arm, потому что [доминирующие игроки] делают это очень хорошо», - засмеялся генеральный директор XMOS Марк Липпет. «Единственный способ соревноваться с этими парнями - иметь архитектурное преимущество… [это означает] внутренние возможности Xcore с точки зрения производительности, но также и гибкости».

XMOS Xcore.ai, недавно выпущенный кроссоверный процессор для голосовых интерфейсов, не будет напрямую конкурировать с микроконтроллерами, но мнение по-прежнему остается верным. Любая компания, производящая SoC на базе Arm, чтобы лучше конкурировать с большими парнями, имеет в своем секрете кое-что особенное.

>> Продолжить чтение второй страницы статья, изначально опубликованная на нашем дочернем сайте EE Times Europe.