Повышение Edge AI: разблокировка беспрецедентной производительности и энергоэффективности

Эволюция технологий — знакомая история, и искусственный интеллект не исключение. Каждое новое поколение AI-чипов добавляет больше MAC, глубокую квантизацию и дополнительные фичи — всё в погоне за более высокими TOPS/Ватт. Однако, по мере роста экспертизы пользователей, спрос смещается от простой удобности к беспрецедентной алгоритмической гибкости, максимальной пропускной способности и минимальному потреблению энергии.

Через платформу CEVA NeuPro мы успешно внедрили edge‑AI решения на разнообразных рынках. Сегодня пользователи хотят больше, чем инкрементальные апгрейды; им нужны революционные улучшения, позволяющие обгонять state‑of‑the‑art на порядок.

Измерение реального влияния

Хотя TOPS/Ватт удобен как бенчмарк, он недостаточен в реальных приложениях. Для визуального инференса кадры в секунду на ватт (FPS/В) гораздо более значимы. В автомобильной безопасности, например, движок восприятия должен обрабатывать минимум 100 FPS с наименьшим возможным потреблением, так как задержки могут означать разницу между безопасной остановкой и аварией. Достижение такой производительности требует гораздо более высокого FPS/В, чем предлагают обычные метрики.

Рыночная возможность очевидна. Автомобиль и телеком готовы привести крупнейшую долю роста edge‑AI, с интеллектуальным изображением, уже доминирующим в авто, и трендом «много камер», переформировывающим мобильные телефоны. Современные камеры смартфонов заменяют легаси-алгоритмы нейросетями для шумоподавления, стабилизации и супер-разрешения, все работающие на 60 fps в тесных энергетических конвертах.

Что требует крупный прорыв

Пока аналоговый AI и спайковые нейросети предлагают интригующие возможности, создателям продуктов все еще нужны масштабируемые решения, способные выйти в объем сегодня. Это оставляет обширный алгоритмический потенциал: обширные опции квантизации, поддержка Винограда, оптимизации разреженности, обработка разнообразных типов данных по разным бит-размерам, параллельная векторная обработка, сжатие данных, матричная декомпозиция и поддержка архитектур следующего поколения — трансформеры и 3D свертки. Эти возможности могут дать до 50:1 ускорения над референсными сетями.

Призыв к действию

Опытные AI-разработчики теперь точно знают, что им нужно для построения. Им требуется платформа, предоставляющая все компоненты нейросетей и оптимизации, которым они доверяют, позволяющая создавать оптимальное решение для их продукта.

Это больше, чем wish list; это дорожная карта для прорывной производительности, пропускной способности и низкого потребления, которых требует передовое edge AI. Производители больше не могут довольствоваться инкрементальными приростами — они ожидают платформ, соответствующих их глубокому пониманию возможностей AI.

Чтобы узнать больше о работе CEVA в edge AI, нажмите здесь.

Рони Саде имеет более 20 лет опыта в дизайне процессоров и акселераторов, фокусируясь на AI-связанных софт/хард решениях для аудио, речи и компьютерного зрения. Он разрабатывает следующее поколение AI-акселераторов, масштабируемых до сотен TOPs.

Рони حاصل на B.Sc. в Аэронавигационной инженерии Техниона.