Ambarella запускает CV5 AI Vision Processor: 8K при 30fps за <2Вт, переопределяя энергоэффективную визуализацию

Ambarella представила своё пятое поколение AI vision процессора SoC, CV5, на CES 2021. Построенная на передовом 5-нм процессе Samsung, чип доставляет полное 8K разрешение при 30 fps, потребляя менее 2 Вт. Эта веха делает её гейм-чейнджером для интеллектуальных камерных систем в авто, потребительской, дрон- и робототехнических приложениях.

CV5 соединяет проприетарный AI-движок CVflow Ambarella с двухъядерным Arm Cortex-A76 CPU до 1,6 ГГц. Вместе они предоставляют конную силу, необходимую для запуска широкого спектра AI-алгоритмов. С процессором изображений, способным потреблять до 14 камерных потоков, чип может одновременно генерировать высококачественные кадры для человеческих зрителей и питать конвейеры машинного обучения.

«Это наше пятое поколение процессоров изображений, с раздельной обработкой видео и AI», — сказал Крис Дэй, вице-президент по маркетингу и бизнес-развитию Ambarella. «Это первый 5-нм чип, обеспечивающий низкое потребление, что критично для многих приложений, особенно в спортивных камерах». Дэй добавил: «Мы тесно работаем с Samsung fab и имеем одну из лучших VLSI дизайн-команд в индустрии. Это означает, что у нас хороший ранний доступ к библиотекам процесса благодаря нашему близкому партнёрству».

В автомобильной видео-телематике CV5 может кодировать множественные потоки от фронтальных ADAS камер, мониторинга водителя, кабины и боковых обзоров. Её CVflow движок запускает алгоритмы предупреждения о выходе из полосы и предварительного столкновения вместе с детектированием сонливости водителя, в то время как 8K видео поток доставляет более высокое разрешение для лучшей точности детектирования на больших дистанциях.

Дэй отметил, что начальный интерес сильнее всего в автосекторе, который составляет примерно 20 % выручки Ambarella.

Низкий энергопрофиль чипа также раскрывает следующее поколение высокорезультационных action, 360° и VR-камер. С на-чип стабилизацией изображения и стыковкой, он поддерживает 8K запись и воспроизведение в компактных форм-факторах.

В робототехнике и дрон-платформах CVflow ускоряет одновременную локализацию и картирование, планирование пути и избегание препятствий. Для аэрофотосъёмки SoC может доставлять 8K видео при 60 fps, сохраняя реальное время полётного управления и навигации.

«Ключевая выгода CV5 — способность добавить 8K запись во все рынки», — сказал Дэй. «Мы также первые, кто включил PCIe интерфейс на чипе, открывая новые варианты связи. Пока мы фокусируемся на авто, спортивных камерах, дронах и VR, мы ожидаем варианты для безопасности и наблюдения позже в этом году».

CV5 разделяет общий SDK и CV тулчейн с другими семействами CVflow Ambarella, упрощая разработку по спектру цен и производительности. Набор инструментов включает компилятор нейросетей, отладчик и полную поддержку индустрийно-стандартных фреймворков вроде PyTorch, ONNX, Caffe и TensorFlow, вместе с детальными руководствами по оптимизации CNN.

Основные особенности CV5 SoC включают:

• CVflow архитектура с поддержкой DNN
• Двухъядерный Arm Cortex-A76 до 1,6 ГГц с NEON DSP расширениями и FPU
• Высокоскоростные SLVS-EC, MIPI-CSI (C/D PHY) интерфейсы, подключающие до 14 камер
• Мультиканальный ISP с пропускной способностью до 8KP60
• Нативная поддержка форматов сенсоров RGGB, RCCB, RCCC, RGB-IR и монохром
• Мульти-экспозиционная высокодинамическая обработка (HDR)
• Реальное время, аппаратное ускоренное деформация fisheye и коррекция дисторсии линзы (LDC)
• AVC и HEVC кодирование до 8KP60 с поддержкой множественных потоков
• Богатый набор интерфейсов: 4-lane PCIe, CAN FD, Gigabit Ethernet, USB 3.1 host/device, три SD-карт контроллера, MIPI DSI/CSI-2 и HDMI выходы
• Поддержка LPDDR4x/LPDDR5/LPDDR5x, 64-битная шина данных, до 32 ГБ ёмкости
• Функции безопасности: secure boot с TrustZone, secure memory, TRNG, OTP, DRAM scrambling, виртуализация
• 5-нм процессовая технология
• 16 × 16 FBGA корпус, 0,5 мм шаг шариков