Edge AI чип без традиционных MAC‑массивов достигает 55 TOPS/Вт

Силиконоводолинский стартап переосмыслил математику нейросетей, создав периферийный AI‑чип, обходящий классические массивы multiply‑accumulate (MAC). Результат — чип 7×7 мм под названием Ergo, выдающий 4 TOPS при потреблении всего 20 мВт — впечатляющие 55 TOPS/Вт. По словам Perceive, чип запускает дата‑центр‑класс инференс (YOLOv3) на 30 fps при <20 мВт.

Perceive, основанная в Сан‑Хосе два года назад, вышла из стелс‑режима и полностью финансируется родительской компанией Xperi. Ядро из 41 инженера дополняется схожим числом инженеров Xperi, работающих над приложениями для Ergo. Стив Тейг, основатель и CEO Perceive (также CTO Xperi), имеет глубокий бэкграунд в проектировании чипов и AI: ранее возглавлял стартап 3D‑программируемой логики Tabula и был CTO в Cadence.

Тейг объясняет: путь начался с вопроса «Какие вычисления на самом деле выполняют нейросети?». Применяя принципы информационной теории, команда нашла более эффективное представление операций сети, что и определило архитектуру Ergo. Новый подход устраняет основную часть обычных MAC‑массивов, давая чип в 20–100 раз более энергоэффективный, чем конкуренты.

Архитектура Ergo включает четыре вычислительных кластера, каждый с выделенной памятью. В отличие от типичных ускорителей, полагающихся на MAC‑массивы для скалярных произведений, кластеры Ergo выполняют операции новым, высокопараллельным способом. Дизайн поддерживает широкий спектр топологий — CNN, RNN, даже несколько гетерогенных моделей одновременно — без внешней RAM.

На практике Perceive продемонстрировала одновременное выполнение YOLOv3 (60–70 М параметров) или M2Det вместе с ResNet‑28 и LSTM для обработки речи. Это позволяет реально‑временное видео‑ и аудио‑инференс на одном периферийном устройстве.

Энергоэффективность усилена агрессивным power‑gating и clock‑gating, использующими детерминированную природу нагрузок нейросетей. Поскольку инференс‑код не имеет ветвлений, тайминг предсказуем, позволяя чипу виртуально спать до триггера от датчика движения или аналогового микрофона. После активации Ergo загружает дата‑центр‑класс модель и начинает инференс за ~50 мс (включая дешифровку).

Помимо вычислений, Ergo содержит аппаратный конвейер обработки изображений: де‑warping fisheye, гамма‑коррекция, баланс белого, кроппинг. Эквивалентный аудио‑блок поддерживает beam‑forming по нескольким микрофонам. Микропроцессор Synopsys ARC с DSP‑ядром занимается дополнительной предобработкой и запускает зашифрованный фармвар, а выделенный блок безопасности шифрует все пути данных и веса сети для защиты IoT‑развертываний.

Ergo подключается к внешней Flash и поддерживает OTA‑обновления, позволяя переобучение или замену моделей на устройстве. Чип и референс‑борд сейчас в сэмплировании; масс‑производство запланировано на Q2 2024.

Стив Тейг (Источник: Perceive)

Perceive заявляет 55 TOPS/Вт для Ergo, YOLOv3 30fps при 20мВт (Источник: Perceive)

Технология Perceive основана на переизобретении математики нейросетей через информационную теорию (Источник: Perceive)