Сообщество TinyML нацелено на 1 мВт AI для Edge-устройств

Когда группа TinyML созвала свое первое собрание, первым делом был простой вопрос: что такое TinyML?

TinyML — это сообщество инженеров, посвященных заставке машинного обучения (ML) работать на ультра-низкопотребляющих устройствах. Первая встреча фокусировалась на том, можно ли реализовать ML на микроконтроллерах и нужны ли специализированные низкоэнергетические ML-процессоры.

Евгений Гусев из Qualcomm AI Research определил TinyML как ML-техники, потребляющие 1 мВт или меньше. Он назвал 1 мВт «магическим числом» для всегда-активных приложений в смартфонах.

«Пока облачный ML доминирует в разговорах, ML на устройстве становится все более изощренным», — отметил Гусев. «Но 90% данных исходит из реального мира. Как нам слить все камеры, IMU и другие сенсоры и запускать ML локально?»

«TinyML станет большим, и есть срочная необходимость построить всю экосистему — приложения, ПО, инструменты, алгоритмы, железо, ASIC, устройства, фабрики и многое другое», — добавил Гусев.

Инженер Google Нат Джеффрис представляет на первом TinyML митапе (Изображение: TinyML)

TensorFlow Lite

Инженер Google Даниел Ситунаяк представил TensorFlow Lite, облегченную версию TensorFlow, адаптированную для edge-устройств, включая микроконтроллеры.

«TensorFlow Lite служил мобильным телефонам годами, и мы сейчас рады принести его на еще более мелкие устройства», — сказал он.

После обучения модели в TensorFlow инженеры конвертируют ее в TensorFlow Lite, который уменьшает модель, применяет квантование и иначе оптимизирует ее для комфортного размещения на целевом железе.

Одна стратегия экономии энергии, которую он описал — цепочка моделей.

«Представьте каскад классификаторов: крошечная низкоэнергетическая модель сначала обнаруживает, есть ли звук, затем немного большая модель определяет, является ли это человеческой речью, и только тогда глубокая сеть активируется, когда эти условия выполнены», — объяснил Ситунаяк. «Пробуждая энергозатратную модель только когда необходимо, мы достигаем существенной экономии энергии».

Каскадирование моделей машинного обучения может помочь сэкономить энергию (Изображение: Google)

Нат Джеффрис, член команды Google «TensorFlow Lite для микроконтроллеров», подчеркнул растущий спрос на строгие энергобюджеты в потребительских устройствах, обладающих изощренными сенсорами, но все еще полагающихся на долговечные батареи или сбор энергии.

«TinyML — глубокое обучение на микроконтроллерах — это ключ», — сказал он. «Оно позволяет обрабатывать сенсорные данные локально с минимальными циклами CPU и чтениями сенсоров, избегая энергозатрат на off-chip передачу. TinyML может дистиллировать сырой сенсорный данные в несколько байтов, затем передавать только этот сжатый полезный груз».

Он привел недавний челлендж Google, привлекавший впечатляющие представления для моделей 250 кБ, способных к детекции людей, подтверждая жизнеспособность этого подхода.

«Теперь мы можем сжимать TensorFlow модели до точки, где они помещаются на микроконтроллерах, делая это подходящим моментом для входа в эту область», — заключил Джеффрис.

Дорожная карта Google для TensorFlow Lite на микроконтроллерах включает открытие демо-проектов, сотрудничество с вендорами чипов для оптимизации ядер, снижение использования памяти для запуска более сложных моделей и расширение поддержки платформ — SparkFun Edge первая плата, с поддержкой Arduino и Mbed на горизонте.

Специализированные устройства

Мартин Крум, вице-президент по бизнес-развитию в GreenWaves Technologies, выступил за специализированные низкоэнергетические ML-процессоры.

«Нам нужен более четкий фокус на ультра-низкоэнергетическом ML как с алгоритмической, так и с аппаратной сторон», — сказал Крум.

RISC-V прикладной процессор GreenWaves, GAP8, нацелен на вывод в edge-устройствах с милливаттным потреблением и ультра-низкими токами ожидания. Чип спроектирован для батарейных устройств и тех, что собирают энергию.

Ультра-низкоэнергетический ускоритель ML GreenWaves с девятью RISC-V ядрами (Изображение: GreenWaves Technologies)

Для поддержания низкого потребления GAP8 использует параллелизм не для скорости, а для понижения тактовой частоты и напряжения. Аппаратный ускоритель чипа может выполнять 5x5 свертку на 16-битных данных за один цикл. Поскольку сверточные нейросети (CNN) используют входы и веса фиксированного размера, управление памятью может быть определено на этапе компиляции, дополнительно снижая накладные расходы во время выполнения.

Балансировка специализации с гибкостью — вызов. «AI развивается быстро. Что передового сегодня, может устареть завтра», — предупредил Крум. «Мы должны избегать пере-специализации, чтобы оставаться гибкими и адаптироваться к будущим инновациям».

GAP8 находится в семплировании год; производство начнется в этом месяце, объемные поставки запланированы на конец Q3.

TinyML митапы проводятся в последний четверг каждого месяца в Bay Area и приветствуют участников из индустрии и академии.