Ускорение Edge AI: обзор ведущих специализированных процессоров на 2024 год

Нагрузки AI и машинного обучения всё чаще переносятся на периферию, и на рынке появляется всё больше процессоров для удовлетворения разнообразных требований этих приложений. От гигантов индустрии до гибких стартапов — каждое решение нацелено на конкретные вертикали, энергопотребление и ценовые категории. Ниже представлен краткий обзор текущих лидеров рынка.

Прикладные процессоры

Intel Movidius Myriad X

Изначально разработан ирландским стартапом Movidius и приобретен Intel в 2016 г., Myriad X — VPU третьего поколения с выделенным нейронным вычислительным движком. Обеспечивает 1 TOPS для глубоких нейронных сетей (DNN), поддерживает точность FP16 и INT8, тесно связан с интеллектуальной памятью для устранения узких мест передачи данных. Чип содержит 16 проприетарных ядер SHAVE и расширенный набор ускорителей visión. Доступен в Neural Compute Stick 2 — USB‑платформе для быстрого развертывания AI и компьютерного зрения на любой рабочей станции.

NXP Semiconductors i.MX 8M Plus

Гетеротерогенный прикладной процессор с выделенным нейронным ускорителем VeriSilicon (Vivante VIP8000), дающим 2.3 TOPS для инференса: мульти‑объектное распознавание, речь на 40 тыс. слов, MobileNet v1 на 500 кадров/с. Дополняют ускоритель четырехъядерный Arm Cortex‑A53 @ 2 ГГц и подсистема Cortex‑M7 реального времени. Видеоподдержка: два HD ISP для стерео или одиночной камеры 12 Мп, DSP HiFi4 800 МГц для пред‑/пост‑обработки голоса.

i.MX 8M Plus — первый прикладной процессор NXP с выделенным нейронным ускорителем для IoT (Источник: NXP Semiconductors)

XMOS xcore.ai

Сочетает производительность прикладного процессора с реально‑временной эффективностью МК, нацелен на голосовые AIoT‑устройства. На проприетарной архитектуре Xcore: 16 логических ядер, распределяемых между I/O, DSP, управлением и AI — фактически software‑defined SoC. Поддерживает 32‑, 16‑, 8‑ и 1‑битные (бинаризованные) нейросети, выдает 3200 MIPS, 51.2 GMACCs, 1600 MFLOPS. 1 МБ встроенного SRAM и низкоэнергетический DDR‑интерфейс делают его идеальным для компактных низколатентных голосовых задач.

xcore.ai — проприетарная универсальная платформа для голосовых AI‑нагрузок (Источник: XMOS)

Автомобильные SoC

Texas Instruments TDA4VM

Член серии Jacinto 7, первый SoC TI с интегрированным ускорителем глубокого обучения. Ускоритель на базе DSP‑ядра C7x и кастомного матричного ускорителя (MMA) выдает до 8 TOPS. Для ADAS: обработка потока 8 Мп фронтальной камеры или нескольких 3 Мп камер + радар, лидар, ультразвук — сенсорная фьюжн для автопарковки и других ADAS‑функций. Энергобюджет 5–20 Вт, доступен предпрототипный_DEV‑kit.

TDA4VM питает сложные ADAS‑системы, обеспечивая восприятие и сенсорную фьюжн на одном чипе (Источник: Texas Instruments)

GPU

Nvidia Jetson Nano

128‑ядерный GPU Maxwell и четырехъядерный Arm Cortex‑A57 для периферийных устройств. 0.5 TFLOPS, запуск нескольких нейросетей на высокорезолюционных потоках при 5 Вт. Интегрирует CUDA X — набор библиотек ускорения нейросетей, доступен в недорогих dev‑kits.

Jetson Nano — мощный GPU для AI на периферии в компактном низкоэнергетическом форм‑факторе (Источник: Nvidia Corp.)

Потребительские сопроцессоры

Kneron KL520

Выделенный нейропроцессор для обработки изображений и распознавания лиц в умных домах, безопасности, мобильных устройствах. Оптимизирован под CNN: 0.3 TOPS при 0.5 Вт (~0.6 TOPS/Вт) с >90% эффективностью MAC. Реконфигурируемая архитектура и компилятор со сжатием позволяют размещать большие модели на чипе, снижая потребление и стоимость. Доступен в карте‑ускорителе AAEON M2AI‑2280‑520.

KL520 сочетает реконфигурируемый дизайн и сжатие для эффективной мобильной обработки изображений (Источник: Kneron Inc.)

Gyrfalcon Lightspeeur 5801

Для потребительской электроники: 2.8 TOPS при 224 мВт (~12.6 TOPS/Вт) с латентностью 4 мс благодаря архитектуре processor‑in‑memory. 10 МБ он‑чип памяти вмещает полные модели, такт 50–200 МГц для баланса мощность/производительность. Используется в смартфоне LG Q70 для камерных эффектов, есть USB‑флешка dev‑kit.

Ультра‑низкое потребление

Eta Compute ECM3532

Для батарейных/energy‑harvesting IoT с always‑on инференсом. Сочетает Arm Cortex‑M3 и NXP CoolFlux DSP, проприетарное масштабирование напряжения/частоты на такт‑по‑такт основе. ML‑нагрузки (голос) могут выполняться на любом ядре. Сэмплы доступны, масс‑производство — Q2 2020.

Syntiant NDP100

Processor‑in‑memory для голосовых команд под строгим энергобюджетом. <140 мкВт активное потребление: keyword spotting, wake‑word, speaker ID, event classification. Для беспроводных наушников, слуховых аппаратов, умных часов, пультов. Dev‑kits в наличии.

NDP100 — ультра‑низкоэнергетическая голосовая обработка для потребительского IoT (Источник: Syntiant Corp.)

GreenWaves GAP9

Ультра‑низкоэнергетический прикладной процессор: 9 ядер RISC‑V с кастомным набором инструкций для энергоэффективности. Двунаправленные многоканальные аудио‑интерфейсы, 1.6 МБ внутренней RAM. Запускает MobileNet V1 на 160×160 за 12 мс при 806 мкВт/кадр — идеально для батарейных образцовых, аудио и вибрационных сенсоров.