Система со сверхнизким энергопотреблением подкрепляет надежды ИИ на TinyML

САННИВЕЙЛ, Калифорния - Группа из почти 200 инженеров и исследователей собралась здесь, чтобы обсудить формирование сообщества для развития глубокого обучения в системах со сверхнизким энергопотреблением, область, которую они называют TinyML. В презентациях и диалогах они открыто изо всех сил пытались справиться с еще незрелой отраслью наиболее динамично развивающейся области технологий в надежде создать новый класс систем.

«Нет недостатка в потрясающих идеях», - сказал Ян Братт, научный сотрудник Arm, занимающийся машинным обучением, и начал обсуждение.

«Четыре года назад все стало скучно, а затем пришло машинное обучение с новыми форматами с плавающей запятой и методами сжатия - это как снова быть молодым. Но существует большая нехватка способов использовать эти идеи в реальной системе для зарабатывания денег », - сказал Братт.

«Программная экосистема - это настоящий дикий Запад. Он настолько фрагментирован, и это своего рода захват земли с Amazon, Google, Facebook и другими, продвигающими свои фреймворки… Так как же инженер по аппаратному обеспечению может получить что-то, что могут использовать многие люди », - спросил он.

С этим согласился инженер из STMicroelectronics.

«Я только что понял, что существует как минимум четыре компилятора для ИИ, и новые микросхемы не будут использоваться традиционным разработчиком встроенных систем. Итак, нам необходимо стабилизировать программные интерфейсы и инвестировать в совместимость - комитет по стандартам должен работать над общими интерфейсами », - предложил инженер STM.

«Возможно, еще слишком рано для стандартов программного обеспечения», - сказал Пит Уорден, сопредседатель группы TinyML и технический руководитель TensorFlow Lite от Google, платформы, предназначенной для мобильных и встроенных сред.

«Мы обвиняем исследователей, которые постоянно меняют операции и архитектуру. Они все еще открывают для себя веса, сжатие, форматы и квантование. Семантика постоянно меняется, и мы должны не отставать от нее », - сказал Уорден.

«В ближайшие несколько лет нет будущего для ускорителей, которые не выполняли бы универсальные вычисления для обработки новой операции или функции активации, потому что через два года, вероятно, люди будут вносить в таблицу различные операции», - добавил он.

С этим согласился исследователь Microsoft AI. «Мы очень далеки от того, где, по нашему мнению, должны быть, и мы не доберемся до этого через год или два. Это была причина, по которой Microsoft инвестировала в FPGA, чтобы ускорить работу своих облачных сервисов Azure. «Нам необходимо создать правильные уровни абстракции, чтобы обеспечить инновации в оборудовании… и если бы существовал аппаратный ускоритель с открытым исходным кодом, он мог бы помочь», - добавил он.

«Может быть, стандарт соответствия - это первый шаг, поэтому исследователи получают тот же опыт на периферии, что и в облаке», - предположил Братт из Арм.

«Нам нужны надежные функциональные спецификации для любого уровня, на котором вы живете. Если они у нас будут на достаточном уровне, это даст людям точку входа на другие уровни, и эта группа лучше всего сможет их определить», - сказал Навин Верма, эксперт. Профессор из Принстона, чьи исследования посвящены процессорам искусственного интеллекта в памяти.