SoC с поддержкой AI обрабатывают несколько видеопотоков

Ambarella запускает два устройства для компьютерного зрения и обработки AI из нескольких или одиночные входы в камеры видеонаблюдения и системы умного города.

Компания Ambarella, специализирующаяся на обработке изображений, выпустила две новые SoC для камер видеонаблюдения с одним и несколькими датчиками, каждая из которых имеет новые возможности искусственного интеллекта, обеспечиваемые ускорителем CVflow AI. Оба поддерживают кодирование видео 4K и расширенную обработку искусственного интеллекта, такую ​​как распознавание лиц или автомобильных номеров.

SoC CV5S предназначена для систем с несколькими датчиками камеры, кодируя четыре канала формирователя изображения с разрешением до 8MP / 4K, каждый со скоростью 30 кадров в секунду (fps), при этом выполняя расширенный AI для каждого потока изображений 4K. Он может обрабатывать до 14 входов. Семейство SoC удваивает разрешение кодирования и пропускную способность памяти по сравнению с продуктами предыдущего поколения Ambarella, потребляя при этом на 30 процентов меньше энергии. Он потребляет <5 Вт и обеспечивает 12 eTOPS (TOPS, эквивалентные графическому процессору, измерение Ambarella количества лошадиных сил графического процессора, необходимого для выполнения тех же задач обработки ИИ).

Другая новая SoC, CV52S, нацелена на камеры с одним датчиком и поддерживает разрешение 4K при 60 кадрах в секунду. По сравнению с предыдущими поколениями систем на кристалле Ambarella это новое устройство в четыре раза повышает производительность ИИ, удваивает пропускную способность ЦП и предлагает на 50 процентов большую пропускную способность памяти. Он потребляет <3 Вт и обеспечивает 6 eTOPS.

Повышение производительности связано с переходом на 5-нм техпроцесс, а также с улучшением и расширением собственного блока ускорителя CVflow AI от Ambarella.

«Вы видите, что все эти стартапы приходят отовсюду и говорят, что у них лучшая производительность ИИ на ватт, и, возможно, они правы», - сказал Джером Жиго, старший директор по маркетингу Ambarella. «Но это не делает камеру, это не делает продукт. Если у вас есть только ускоритель ИИ, у вас просто ускоритель ИИ ».

Гигот отметил, что конвейер визуализации для видео 4K или 8K сложен, обрабатывает большой объем данных, кодирует большие объемы данных, передает эти данные в специальный блок для обработки AI, при этом, вероятно, запускает стек Linux поверх. Этого сложно добиться при небольшом бюджете мощности и при сохранении качества видео.

CV52S нацелен на конструкции с одним датчиком, подобные тем, которые используются в системах мониторинга трафика и других приложениях для умных городов (Источник:Ambarella)

Наряду с ускорителем CVflow AI обе новые SoC включают процессор сигналов изображения (ISP) Ambarella, который обрабатывает такие функции, как обработка цвета, автоэкспозиция, автоматический баланс белого и фильтрация шума.

«Этот блок мы разрабатываем 16 лет, - сказал Жиго. «Вот почему мы думаем, что стартапам еще предстоит пройти долгий путь. Они могут лицензировать [блокировку интернет-провайдера из другого источника], но тогда он на самом деле не интегрирован с остальной системой с точки зрения доступа к памяти и всего остального ».

Система памяти является одним из ключевых элементов интеллектуальной собственности компании.

«У нас есть один контроллер памяти, и мы все координируем таким образом, чтобы получать данные на кристалле. Мы стараемся не делать никаких копий », - сказал Жиго. «Мы перемещаем указатели, мы не перемещаем данные. Это возможно только в том случае, если вы спроектируете всю архитектуру с нуля, точно зная, что будет делать чип ».

Ускоритель

Ускоритель ИИ - это векторный процессор, который может ускорить свертку и другие общие функции ИИ или использоваться для классических рабочих нагрузок компьютерного зрения. Пользователи также могут запускать части нейронной сети (например, алгоритмы сортировки в одноразовой сети детекторов) или через встроенный двухъядерный процессор Arm Cortex-A76.

Программный стек позволяет приложениям использовать разреженность коэффициентов, метод, при котором сетевые коэффициенты со значениями, близкими к нулю, округляются до нуля. Такой подход может «отсекать» целые «ветви» вычислений из алгоритма, чтобы значительно снизить требования к вычислениям.

«Разбавление» - это действительно эффективный метод для нас, потому что, когда коэффициент равен нулю, в нашей архитектуре мы не выполняем операции, у нас есть пропуск [функция] », - сказал он. «Таким образом, мы не вычисляем результат для этого коэффициента. На это у нас уходит почти ноль циклов ».

По словам Жиго, этот процесс обычно определяет от 50 до 80 процентов коэффициентов в качестве целей для разрежения. После разрежения обычно требуется некоторая незначительная переподготовка, чтобы восстановить точность прогнозов, потерянную во время процесса. По словам Жиго, переподготовка обычно может привести к точности в пределах 1 процента от исходной модели - приемлемый компромисс для большинства клиентов, особенно с учетом 5-кратного уменьшения размера модели. Ambarella также работает над инструментами разрежения и квантования, которые больше ориентированы на архитектуру.

щелкните, чтобы увидеть полноразмерное изображение

SoC CV5S для систем с несколькими датчиками камер включает в себя последнее поколение ИИ CVflow от Ambarella и ускоритель компьютерного зрения (Источник:Ambarella)

Имея возможность принимать до 14 видеопотоков, а затем выполнять ИИ для этих потоков одновременно, смогут ли клиенты запускать несколько нейронных сетей одновременно? Потребуется ли какая-то схема мультиплексирования?

Жером Жиго (Источник:Ambarella)

- Да обоим, - ответил Жиго. «CVflow - это очень быстрый векторный механизм, очень быстрый механизм свертки. Все мультиплексировано во времени. У нас разные пути в оборудовании, поэтому мы можем распараллеливать операции, но мы не привязываем его к конкретной сети, [которая] полностью отличается от пакетной обработки на графическом процессоре ».

Пакетная обработка, метод, часто используемый крупными графическими процессорами, группирует изображения и отправляет их для параллельной обработки. В графические процессоры уже загружены другие параметры. Такой подход снижает затраты на вычисления, поскольку не нужно переключаться между операциями.

Для небольших движков, таких как CVflow, большие нейронные сети должны быть разбиты на блоки для обработки, поскольку память чипа не может хранить все параметры сразу. Последовательные фрагменты могут происходить из одной и той же нейронной сети, или другой сети, или другого входного канала. По словам Гиго, типичное использование оборудования в CVflow составляет от 70 до 80 процентов, добавив, что переключение сетей / каналов не влияет на эффективность.

Ожидается, что отбор проб CV5S и CV52S начнется в октябре 2021 года.

>> Эта статья изначально была опубликована на нашем дочернем сайте EE Times.

---

Связанное содержание:

• Процессор машинного зрения AI поддерживает видео 8K со скоростью 30 кадров в секунду при мощности менее 2 Вт.
• Ambarella нацелена на интеллектуальное распознавание краев с помощью новой SoC камеры.
• ПЛИС вытесняют ASIC в системе ADAS на базе зрения Subaru Eyesight.
• Arm добавляет CPU, GPU и ISP для автономной работы и безопасности зрения.
• Плата технического зрения с низким энергопотреблением на основе искусственного интеллекта работает "годы" от одной батареи.

Чтобы получить больше информации о Embedded, подпишитесь на еженедельную рассылку Embedded по электронной почте.