Ambarella представила AI-ориентированные SoC для мульти-сенсорных видеопотоков

Ambarella, ведущая компания по обработке изображений, анонсировала две новые системно-кристальные (SoC) решения, объединяющие высокоразрешающий видеозахват с передовым искусственным интеллектом (AI) обработкой. Спроектированные для камер безопасности и развертываний умных городов, CV5S и CV52S доставляют 4K видео-кодирование и изощренные AI-задачи такие как распознавание лиц и номерных знаков.

CV5S ориентирован на многosenсорные камерные системы, обрабатывающие до четырех 8-мегапиксельных (8MP) потоков — эквивалент 4K разрешения — по 30 кадров в секунду (fps) каждый. Он может обрабатывать 14 отдельных видеопотоков одновременно, выполняя реальное-время AI на каждом 4K кадре. По сравнению с предыдущим поколением Ambarella, CV5S удваивает как разрешение кодирования, так и пропускную способность памяти, в то время как снижает потребление энергии на 30 процентов. Он работает ниже 5 Вт и доставляет 12 eTOPS (метрика Ambarella для GPU-эквивалентной производительности).

CV52S оптимизирован для однosenсорных камер и поддерживает 4K разрешение при 60 fps. Он предлагает четырехкратную AI-производительность, двойную CPU пропускную способность и на 50% большую пропускную способность памяти относительно более ранних моделей. Потребляя менее 3 Вт, он предоставляет 6 eTOPS вычислительной мощности.

Оба SoC построены на 5-нм процессе Ambarella и обладают расширенным CVflow AI-ускорителем, обеспечивающим эффективную свертку и другие глубокое обучение операции. «Наличие только AI-ускорителя недостаточно; весь образобразующий конвейер должен работать гармонично», — сказал Жером Жиго, старший директор маркетинга Ambarella. «Наш интегрированный ISP, контроллер памяти и программный стек позволяют нам держать данные на месте, устраняя дорогие копии и достигая низкоэнергопотребляющей, высококачественной видеообработки.»

Помимо CVflow движка, каждый SoC включает давно известный процессор сигнала изображения (ISP) Ambarella, который обрабатывает цветокоррекцию, автоэкспозицию, авто-белый баланс и шумоподавление. Жиго подсветил 16-летнюю историю развития ISP, подчеркивая глубину интеграции, которой у новых игроков обычно не хватает.

AI-ускоритель — векторный процессор, способный ускорять сверточные нейронные сети (CNN) и классические алгоритмы компьютерного зрения. Он поддерживает разрежение (pruning) близких к нулю коэффициентов для снижения вычислительной нагрузки до 80%. После краткой переобучающей фазы модели восстанавливают точность в пределах 1% от оригинала, в то время как размер модели может сократиться в пять раз.

Со способностью обрабатывать до 14 независимых видеопотоков, CV5S может запускать множество нейронных сетей одновременно. Жиго объяснил, что CVflow движок использует временную мультиплексию и параллельные пути, обеспечивая эффективную операцию через разные сети без необходимости батч-обработки, типичной для GPU.

Оба CV5S и CV52S войдут в сэмплирование в октябре 2021 года.

CV52S ориентирован на однosenсорные дизайны такие как мониторинг трафика и другие умные-городские приложения (Источник: Ambarella)

SoC CV5S для многosenсорных камерных систем включает последнее поколение CVflow AI и компьютерного зрения ускорителя Ambarella (Источник: Ambarella)

Жером Жиго (Источник: Ambarella)

Для дальнейших деталей см. оригинальную публикацию на EE Times.

Связанные материалы:

• AI визуальный процессор обеспечивает 8K видео при 30fps под 2Вт
• Ambarella нацелена на интеллектуальное пограничное сенсирование с новым камерным SoC
• FPGA вытесняют ASIC в Subaru Eyesight визионно-базированном ADAS
• Arm добавляет CPU, GPU и ISP для автономного и визионного безопасности
• Низкоэнергопотребляющая AI визуальная плата работает «годами» на одной батарее

Для большего Embedded контента, подпишитесь на еженедельную email-рассылку Embedded.