Процессор машинного зрения AI поддерживает видео 8K со скоростью 30 кадров в секунду при мощности менее 2 Вт

Используя CES 2021 в качестве стартовой платформы, Ambarella анонсировала свою систему процессора машинного зрения с искусственным интеллектом (AI) пятого поколения на кристалле (SoC), которая, по ее словам, устанавливает новый стандарт энергоэффективности. Его процессор CV5 AI Vision CVflow, изготовленный по усовершенствованному 5-нм техпроцессу Samsung, позволяет кодировать полное видео 8K со скоростью 30 кадров в секунду и менее 2 Вт, что важно для систем интеллектуальных камер в автомобилях, бытовых (включая дроны) и роботизированных камерах. P>

Новый CV5 сочетает в себе двигатель CVflow AI от Ambarella с процессорами Dual Arm A76, чтобы обеспечить производительность, необходимую для широкого спектра алгоритмов на основе AI. Обеспечивая ввод до 14 камер, процессор сигналов изображения (ISP) может одновременно обрабатывать изображения как для просмотра людьми, так и для машинной обработки. На брифинге для embedded.com Крис Дэй, вице-президент по маркетингу и развитию бизнеса Ambarella, сказал:«Это наше пятое поколение процессоров изображений с раздельной обработкой видео и ИИ. Это первый 5-нм чип, обеспечивающий низкое энергопотребление, которое имеет решающее значение для многих приложений, особенно для спортивных камер ».

Он добавил:«Мы тесно сотрудничаем с фабрикой Samsung и располагаем одной из лучших команд разработчиков СБИС в отрасли. Это означает, что у нас есть хороший ранний доступ к библиотекам процессов в результате наших тесных рабочих отношений с Samsung ».

В приложениях автомобильной видеотелематики CV5 обеспечивает производительность, необходимую для кодирования нескольких видеопотоков от передовых систем помощи водителю (ADAS), мониторинга водителя, мониторинга кабины и камер бокового обзора. Его движок CVflow AI может одновременно запускать алгоритмы ADAS, такие как выезд из полосы движения и предупреждение о прямом столкновении, а также алгоритмы мониторинга водителя, такие как обнаружение сонливого водителя. Сочетание видеозахвата с высоким разрешением и расширенной обработки искусственного интеллекта позволяет камерам ADAS распознавать изображения на больших расстояниях и с высокой точностью.

Дэй сказал, что первоначальный интерес проявляется к автомобильному рынку, поскольку на этот сегмент приходится около 20% бизнеса Ambarella.

Низкое энергопотребление CV5 SoC также делает его подходящим для следующего поколения с высоким разрешением и высокой частотой кадров, 360 ° и камерами виртуальной реальности (VR), предлагая запись и воспроизведение 8K в очень компактном форм-факторе. В частности, он также имеет такие функции, как встроенная стабилизация изображения и сшивание, подходящие для камер VR.

В приложениях для роботов и дронов двигатель CVflow AI CV5 может ускорять одновременную локализацию и картографирование (SLAM), планирование пути и обнаружение препятствий, а также алгоритмы уклонения для навигации и автономной работы. Для аэросъемки и кинематографии с помощью дронов CV5 может одновременно выполнять функции управления полетом и навигации, записывая видео с разрешением до 8K и частотой 60 кадров в секунду.

Дэй прокомментировал, что на рынке дронов CV5 особенно хорош в двух областях:одно - это улучшение видеографии, а другое - добавление компьютерного зрения и искусственного интеллекта для таких вещей, как обнаружение объектов.

Дэй сказал, что для всех различных приложений ключевым преимуществом CV5 является возможность добавления записи 8K на всех рынках. Он также сказал, что это первый раз, когда компания включила интерфейс PCIe в чип, открыв возможности для подключения. В то время как первоначальное внимание уделяется автомобилям, спортивным камерам, дронам и камерам виртуальной реальности, он ожидает, что уже в этом году у него появятся версии CV5 для безопасности и наблюдения

В новой SoC используются общие инструменты SDK и компьютерного зрения (CV) с другими семействами CVflow SoC от Ambarella, что упрощает разработку камер с множеством вариантов цены и производительности. Полный набор инструментов CV помогает клиентам переносить свои собственные нейронные сети на CV5, включая компилятор, отладчик и поддержку стандартных отраслевых фреймворков машинного обучения, таких как PyTorch, ONNX, Caffe и TensorFlow, а также подробные рекомендации по сверточной нейронной сети. оптимизация производительности сети (CNN).

Основные особенности SoC CV5 включают:

• Архитектура CVflow с поддержкой DNN
• Двухъядерный Arm Cortex-A76 до 1,6 ГГц с расширениями NEON DSP и FPU
• Высокоскоростные интерфейсы SLVS-EC, MIPI-CSI (C / D PHY), подключение до 14 камер.
• Многоканальный интернет-провайдер с пропускной способностью до 8KP60
• Встроенная поддержка форматов датчиков RGGB, RCCB, RCCC, RGB-IR и монохромных.
• Обработка мультиэкспозиции с расширенным динамическим диапазоном (HDR)
• Аппаратное ускорение устранения искажений "рыбий глаз" и коррекции искажений линз (LDC) в реальном времени.
• Кодирование AVC и HEVC с пропускной способностью до 8KP60 и поддержкой нескольких потоков.
• Богатый набор интерфейсов включает 4-полосный PCIe, CAN FD, Gigabit Ethernet, хост и устройство USB 3.1, три контроллера SD-карт, видеовыходы MIPI DSI / CSI-2 и HDMI.
• Поддержка LPDDR4x / LPDDR5 / LPDDR5x, 64-битная шина данных и емкость до 32 ГБ.
• Функции безопасности, включая безопасную загрузку с TrustZone и безопасную память, TRNG, OTP, скремблирование DRAM и виртуализацию.
• техпроцесс 5 нм
• Корпус FBGA 16 × 16 с шагом шариков 0,5 мм.