Оптимизация ИИ моделей для эффективного встроенного развертывания

По мере роста спроса на ИИ-драйвенные интерфейсы, интеграция фич вроде распознавания лиц в машинах больше не чувствуется как монументальный скачок. С множеством ИИ платформ, инструментов обучения и открытых проектов — такого как face-ID пример — разработчики могут быстро прототипировать на ПК.

(Источник: CEVA)

Ограничения

Миграция сети, обученной на ПК или облаке, в встроенную систему представляет отдельные вызовы. Модели, построенные для high-end железа, часто игнорируют ограничения памяти, полагаются на floating-point арифметику и зависят от off-chip памяти для sliding-window инференса. В то время как прототип на мощном ПК может позволить эти неэффективности, встроенное применение должно быть значительно более бережливым — но должно сохранять производительность.

Основы оптимизации

Первый столп оптимизации — квантизация. Конвертация весов из 32-бит floating-point в 8-бит integers сжимает как размер модели, так и промежуточные значения, давая значительную экономию памяти с пренебрежимым влиянием на точность для большинства vision задач.

Эксплуатация разреженности весов может дополнительно резать вычисления. Обнуляя коэффициенты, близкие к нулю — пока мониторя влияние на точность — вы устраняете ненужные умножения, резая как память трафик, так и потребление мощности.

На практике vision модели обрабатывают изображения инкрементально, поэтому веса обновляются по мере скольжения окна вычислений через кадр. Принуждение большой пропорции весовой матрицы к нулю позволяет сжимать массив и хранить в on-chip SRAM, снижая off-chip трафик и бустя пропускную способность.

Нейросети также зависят от зрелых библиотек. Микроконтроллер-дружественный рантайм — такой как TensorFlow Lite или вендор-специфичная ускорительная библиотека — существенен для эффективного инференса. Для полной эксплуатации микроконтроллера, кастомно-адаптированное решение обычно требуется.

Выбор правильной платформы поэтому критичен. Вам нужен поток, который компилирует модель, обученную в вашем выбранном фреймворке (например, TensorFlow) прямо на ваш встроенный таргет, с минимальным ручным твикингом, в то время как все еще позволяя тонкозернистый контроль над уровнями квантизации, весовыми порогами и маппингом памяти.

Как сделать этот поток easy-to-use?

Чего вы хотите — это бесшовный пайплайн, который берет обученную сеть и упаковывает ее для развертывания — завершенную с квантизацией, sparsity pruning и генерацией рантайм кода — так что вы можете фокусироваться на применении а не на низкоуровневых оптимизациях.

CEVA CDNN построена для этой точной цели. Она предоставляет offline toolchain для квантизации, pruning и генерации рантайма, и доставляет библиотеки, тесно связанные с CEVA DSP и кастомными ускорителями клиентов. CDNN поддерживает все основные форматы моделей, включая TensorFlow Lite, ONNX и Caffe.

Связанные материалы:

• Освоение встроенного ИИ
• Сжатие ИИ моделей в микроконтроллеры
• Применение машинного обучения в встроенных системах
• Микроконтроллерные архитектуры эволюционируют для ИИ
• Обучение ИИ моделей на крае
• Микроконтроллерные архитектуры эволюционируют для ИИ
• Превращение big data в smart data с встроенным ИИ

Для большего Embedded, подпишитесь на еженедельную email рассылку Embedded.