Переход на новый уровень Edge AI

Эволюционная фаза технологий - привычное место, и искусственный интеллект, основная технология последних лет, не исключение. В AI - новые поколения добавляют больше MAC, несколько уровней квантования, эту функцию, эту функцию - все для того, чтобы добиться улучшения TOPS на ватт.

Мы успешно внедряем передовые решения искусственного интеллекта на различных рынках с помощью нашей платформы CEVA NeuPro в этой среде. Теперь пользователи хотят большего, но иногда одной эволюции недостаточно.

Сначала пользователи делали упор на простоту использования, чтобы помочь им внедрить эту новую передовую технологию искусственного интеллекта. Но по мере того, как их опыт в передовых методах искусственного интеллекта углубляется, они хотят получить доступ ко всем возможным способам дифференциации своих продуктов и на порядок превосходят современные современные подходы. Достичь этого быстро путем эволюции невозможно; необходимы революционные доработки. Они хотят переключиться с простоты использования на максимальную алгоритмическую гибкость при максимальной пропускной способности и минимальной мощности.

Успех

TOPS / W - хорошее маркетинговое число, но оно слишком грубое, чтобы его можно было использовать в реальных приложениях. Например, для визуального вывода количество кадров в секунду на ватт (FPS / W) является гораздо более значимым показателем. Ценность хорошей оценки в этом контексте легко понять. Обнаружение пешехода или автомобиля впереди или автомобиля, проезжающего сзади, требует быстрой реакции. У вас мало времени, чтобы тормозить или уклоняться, и ни одно действие не происходит мгновенно. Механизм логического вывода должен иметь возможность управлять минимум 100 FPS - с минимально возможной мощностью, потому что это только одна из многих систем датчиков / AI, установленных в автомобиле. Для этого требуется намного более высокая частота кадров в секунду / Вт.

Возможности рынка неоспоримы. Ожидается, что автомобильные и телекоммуникационные приложения внесут наибольший вклад в этот рост, а в автомобилестроении интеллектуальная визуализация продолжает оставаться сильной стороной. Между прочим, то же самое и с тенденцией «множества камер» в мобильных телефонах. Фактически, конвейер формирования изображений в таких камерах начал заменять обычные алгоритмы нейронными сетями для устранения шумов, стабилизации изображения, сверхвысокого разрешения и других новых функций, работающих со скоростью 60 кадров в секунду в очень ограниченной энергетической шкале.

Что требуется для крупного продвижения

Вокруг аналогового ИИ и нейронных сетей происходит кое-что интересное, но производители продуктов не хотят уходить слишком далеко от того, что, как они уверены, сегодня можно масштабировать до объема. Это ограничение по-прежнему оставляет большой потенциал для алгоритмов, но теперь разработчикам продуктов нужен доступ ко всем этим алгоритмам с гораздо большей гибкостью, чтобы добиться максимальной производительности при минимальной мощности.

Список возможностей оптимизации длинный:широкий спектр вариантов квантования, поддержка винограда, оптимизация разреженности для пропуска умножения на ноль, разнообразие типов данных при активации и весах в диапазоне битовых размеров, возможность векторной обработки параллельно с нейронными умножениями, сжатие данных для сокращения времени загрузки весов и активаций, поддержка матричной декомпозиции, ускорение до 50:1 по эталонной сети и архитектуры NN следующего поколения, такие как преобразователи и поддержка трехмерной свертки.

Призыв к действию

Создатели продуктов, которые теперь обладают большим опытом в области ИИ, знают, что они хотят создать и как это построить. Им нужна платформа, предлагающая все алгоритмы компонентов нейронной сети, которые они уже понимают, чтобы построить оптимальное решение для их продукта.

Это фантастический список алгоритмов и оптимизаций, обеспечивающих поистине прорывные возможности, пропускную способность и низкое энергопотребление, необходимые для передового периферийного ИИ. Но почему только мечта? Продвинутые производители продуктов больше не удовлетворены постепенными улучшениями ИИ. Теперь они ожидают, что платформы будут согласованы с их значительно улучшенным пониманием возможностей.

Чтобы узнать больше о работе CEVA в области периферийного ИИ, нажмите ЗДЕСЬ.

Рони Саде имеет более чем 20-летний опыт разработки процессоров и ускорителей, в последние годы уделяя особое внимание программным и аппаратным решениям, связанным с ИИ, для приложений аудио / речи / компьютерного зрения, а также разработке следующего поколения ускорителей ИИ, масштабируемых до сотен ТОП.

Рони имеет степень бакалавра авиационной техники Технионского университета.