TinyML: инженеры объединяются для стандартизации AI в ультра-низкопотребляющих системах

SUNNYVALE, Калифорния – Почти 200 инженеров и исследователей собрались для запуска сообщества, посвященного развитию TinyML, новой области, приносящей глубокое обучение в ультра-низкопотребляющие системы.

«Нет дефицита инновационных идей», — сказал Ян Братт, феллоу по машинному обучению в Arm, открывая сессию.

Четыре года назад прогресс застопорился. Появление новых форматов с плавающей точкой и техник сжатия возродило энтузиазм, но значительный разрыв остается между передовой исследованиями и коммерчески жизнеспособными решениями, объяснил Братт.

Программная экосистема напоминает дикий запад — фрагментированная и доминирующая корпоративными гигантами вроде Amazon, Google и Facebook, каждый из которых продвигает свои фреймворки. Вызов для инженеров железа — доставлять продукты, которые широко применимы, добавил он.

Инженер из STMicroelectronics поддержал это мнение. «Я только что понял, что существует как минимум четыре AI-компилятора, а чипы следующего поколения выйдут за рамки традиционного набора инструментов встроенного разработчика. Стабилизация программных интерфейсов и инвестиции в интероперабельность — через комитет по стандартизации — необходимы», — сказал он.

Пит Уорден, ко-председатель группы TinyML и технический лидер TensorFlow Lite, предостерег, что программные стандарты могут быть преждевременны. «Исследователи постоянно пересматривают операции, архитектуры, веса, сжатие, форматы и квантование. Семантика в движении, и мы должны идти в ногу», — сказал он.

Уорден добавил, что в ближайшие несколько лет акселераторы, неспособные выполнять вычисления общего назначения для поддержки новых операций или функций активации, устареют. Через два года, вероятно, появятся новые операции, предупредил он.

Исследователь AI от Microsoft согласился. «Мы все еще далеки от того, где должны быть, и не доберемся туда за год или два. Именно поэтому Microsoft инвестировала в FPGA для ускорения своих облачных сервисов Azure», — сказал он. «Создание правильных уровней абстракции критично для аппаратных инноваций. Открытый аппаратный акселератор мог бы ускорить прогресс», — добавил он.

Братт предложил, что стандарт соответствия может стать первым шагом, обеспечивая исследователям согласованный опыт edge-cloud, предложил он.

Профессор Принстонского университета Навин Верма, чья работа фокусируется на AI-процессорах в памяти, подчеркнул необходимость надежных функциональных спецификаций на каждом уровне. «Если мы сможем определить четкие спецификации на достаточных уровнях, это откроет пути к другим слоям, и это сообщество уникально позиционировано, чтобы их определить», — сказал он.