Система с двумя камерами контролирует водителя и дорогу с помощью единственной AI SoC

Новая видеорегистратор KeepTruckin на основе системы Ambarella CV22 на чипе использует ИИ для наблюдения за водителями грузовиков и других коммерческих автомобилей.

Системы мониторинга водителя стали неотъемлемой частью разговоров в области автомобильной безопасности. В то время как большая часть дискуссий по мониторингу водителей велась вокруг его использования для частных лиц в легковых автомобилях, в секторе коммерческих автомобилей существует огромный рынок для мониторинга водителей в их грузовиках, чтобы обеспечить безопасность и попытаться предотвратить аварии, а также дать возможность менеджерам автопарка. для оценки рисков и снижения затрат на страхование.

Обслуживая этот рынок, компания KeepTruckin, занимающаяся технологиями управления автопарком, на этой неделе заявила, что в партнерстве с компанией Ambarella, занимающейся технологией технического зрения на базе искусственного интеллекта (ИИ), разработала новую видеорегистратор для вторичного рынка для более крупных коммерческих автомобилей. В новом видеорегистраторе используется один процессор Ambarella CV22 SoC для одновременного обеспечения искусственного интеллекта и обработки изображений для своей системы с двумя камерами, которая объединяет одну камеру для передней усовершенствованной системы помощи водителю (ADAS) с записью происшествий и вторую камеру RGB-IR для система мониторинга водителя (DMS) с записью водителя.

Спецификация производительности на ватт CV22 также позволяет небольшой видеорегистратору AI запускать собственные алгоритмы искусственного интеллекта KeepTruckin для обнаружения рискованного поведения в реальном времени и активных предупреждений непосредственно на устройстве с минимальным тепловыделением.

EE Times поговорила с руководителями компаний KeepTruckin и Ambarella, чтобы узнать больше о разработке продукта. Джай Ранганатан, старший вице-президент по продуктам KeepTruckin, сказал:«Безопасность водителей стала более важной, чем когда-либо, особенно в связи с ростом числа судебных процессов против коммерческих операторов. Итак, концепция видеорегистраторов стала очень популярной. В сотрудничестве с Ambarella мы разработали видеорегистратор следующего поколения. Ключевым показателем для нас, когда мы смотрим на их чип, является вывод на ватт; производительность по отношению к стоимости также была важна. Нам нужно было делать такие вещи, как определение глубины с помощью одного объектива, что может быть сложно ».

Он сказал, что весь процесс, от начала до появления видеорегистратора сегодня, занял около 18 месяцев. «Самым большим фактором для нас [в обеспечении этого быстрого времени выхода на рынок] было наличие партнера, который мог бы помочь во всем процессе разработки. В противном случае было бы невозможно выйти на рынок так быстро ».

Абхишек Гупта, директор по продукту KeepTruckin, добавил:«Поддержка разработчиков была чрезвычайно полезной, особенно с учетом того, что мы создали ее во время пандемии, когда многие люди работали удаленно».

Ранганатан сказал, что видеорегистратор с искусственным интеллектом KeepTruckin использует передовой ИИ Ambarella и производительность обработки изображения, чтобы предоставить расширенные функции на основе ИИ, которые позволяют с высокой точностью и эффективностью обнаруживать поведение, связанное с повышенным риском. «Наши постоянные инновации в управлении автопарком обеспечиваются масштабируемой линейкой SoC CVflow AI Vision от Ambarella, которые поддерживаются общим надежным SDK, что позволяет использовать платформенный подход к разработке наших продуктов».

С точки зрения аналитика, Ян Ричес, вице-президент по автомобильной практике и директор Strategy Analytics, прокомментировал:«Выбор KeepTruckin SoC Ambarella для его новой AI Dashcam дает ему мощную, экономичную и эффективную платформу для построения. Экосистема Ambarella дает ей инструменты, необходимые для разработки индивидуальных решений искусственного интеллекта, которые принесут пользу ее клиентам ».

Передние функции ADAS, доступные в CV22, включают предупреждения о близком следовании, выезде с полосы движения, лобовом столкновении, превышении скорости и нарушениях правил дорожного движения. Используя ту же SoC, одновременно работая с несколькими моделями нейронных сетей, возможности DMS камеры в салоне включают в себя мониторинг усталости водителя, отвлечения внимания и нарушений правил, таких как контекстное использование мобильного телефона или мониторинг ремня безопасности, в сочетании с данными с передней камеры.

Видеорегистратор AI Dashcam подключен к автомобильному шлюзу KeepTruckin, который загружает предварительно проанализированные данные, видео и неподвижные изображения в облачное программное обеспечение для управления автопарком KeepTruckin в режиме реального времени. CV22 SoC объединяет процессор обработки изображений Ambarella, который обеспечивает высокое качество HDR-видео с разрешением 1440p при любых условиях освещения, используя встроенное кодирование H.264 / H.265 для сокращения полосы пропускания передачи и затрат на хранение.

KeepTruckin может со временем загружать в CV22 дополнительные функции с помощью беспроводных обновлений программного обеспечения, чтобы обеспечить дополнительную ценность для клиентов, вкладывающих средства в платформу. Кроме того, обучение моделей KeepTruckin становится все более точным благодаря тому, что его собственная команда по безопасности оценивает качество в режиме реального времени, добавляет дополнительный контекст риска и предоставляет исходные данные, которые сокращают циклы обучения и разработки моделей.

Удит Будхия, директор по маркетингу Ambarella, сказал:«Для вторичного рынка это, вероятно, самый сложный продукт машинного зрения с искусственным интеллектом. Мы наблюдаем стремительный рост систем предупреждения ADAS, таких как предупреждения о выезде с полосы движения ». Говоря о преимуществах CV22 SoC в этом приложении, он добавил:«Ключевым компонентом является процессор сигналов изображения (ISP). Мы поддерживаем различные типы датчиков, включая RGGB, RGB-IR, монохромный, RCCB и RCCC, а также поддерживаем обработку HDR. Мы можем обнаруживать объекты в сцене, а также использовать фильтрацию при слабом освещении, что приводит к меньшему шуму и, следовательно, более эффективной обработке видео. Мы используем меньшую полосу пропускания и значительно меньше DRAM ».

Говоря об инструментах, Будхия сказал:«Наш инструмент позволяет одновременно разрабатывать как фронтальные камеры, так и камеры для наблюдения за драйверами». Программируемость и эффективность архитектуры CVflow AI от Ambarella обеспечивает высокую производительность компьютерного зрения при очень низком энергопотреблении, что повышает надежность и эффективность для параллельного запуска большего количества моделей, что приводит к лучшему обнаружению и видимости со всех сторон. Полный набор инструментов CV помогает таким клиентам, как KeepTruckin, портировать собственные нейронные сети, и включает поддержку стандартных отраслевых фреймворков машинного обучения, таких как PyTorch, ONNX, Caffe и TensorFlow.

>> Эта статья изначально была опубликована на нашем дочернем сайте EE Times.

Связанное содержание:

• Системы наблюдения за водителями набирают обороты.
• Разоблачение неправильных представлений о системах мониторинга водителей.
• Полезна ли система нумерации для автоматизации транспортных средств?
• Датчики изображения обеспечивают более четкое изображение в салоне.
• Ключевые технологии, приближающие нас к мобильности без водителя.

Чтобы получить больше информации о Embedded, подпишитесь на еженедельную рассылку Embedded по электронной почте.