NVIDIA использует AI, чтобы помочь камерам четко видеть

• Исследователи создают глубокую нейронную сеть, которая оценивает способность камеры четко видеть.
• Беспилотные автомобили могут использовать эту сеть, чтобы принимать более обоснованные решения.

Десятки компаний работают над технологиями автономных транспортных средств, и все они по-разному подходят к решению инженерных задач. Чтобы имитировать способность человека видеть, технология в основном полагается на три основных элемента:радар, камеры и лидар.

Однако несколько факторов, таких как дождь, снег и другие виды засоров, могут ухудшить обзор камеры. Это мешает надежной системе восприятия понимать окружающую обстановку и проверять данные, поступающие с датчиков.

Чтобы как можно быстрее эффективно выявлять недостоверность данных датчиков в конвейере обработки, прежде чем они попадут в последующие модули, исследователи NVIDIA разработали модель искусственного интеллекта, которая оценивает способность камеры четко видеть.

Эта модель использует глубокую нейронную сеть, названную ClearSightNet, для обнаружения основных причин засорения, закупорки и снижения видимости. Он может

1. Обосновать широкий спектр возможных причин ухудшения видимости камеры.
2. Предоставьте полезные данные.
3. Запуск различных камер с низкими вычислительными затратами.

Как это работает?

Сеть разделяет изображения с камеры на две разные части; один из них связан с окклюзией, а другой - с уменьшением видимости.

Источник:NVIDIA | YouTube

Окклюзия представляет собой определенную часть поля зрения камеры, которая заблокирована непрозрачными объектами (например, снегом, грязью или пылью) или не содержит данных (например, насыщенные пиксели из-за солнечного света). На этих участках восприятие полностью ухудшается.

Пониженная видимость - это участки, которые частично заблокированы из-за тумана, яркого света или сильного дождя. В таких случаях решение, принятое алгоритмами, должно быть помечено как «более низкая достоверность».

Слева показано входное изображение, а с правой стороны - изображение, наложенное на выходную маску нейронной сети. Почти 84 процента пикселей изображения подвержены частичному или полному перекрытию.

Чтобы показать эти части, ClearSightNet накладывает маску на входное видео / изображение в реальном времени. Области с ограниченной видимостью отмечены зеленым цветом, а полностью закрытые области отмечены красным. В сети также отображается, на какую часть входного видео влияет снижение видимости или окклюзии.

Эти данные можно использовать по-разному. Например, автомобили с автоматическим управлением могут отказаться от использования каких-либо автоматических функций при низкой видимости и предупреждать водителей о необходимости чистить лобовое стекло или объектив камеры. Транспортные средства могут использовать эту сеть для определения восприятия камеры.

Команда планирует дальнейшее улучшение ClearSightNet, чтобы обеспечить сквозные вычисления и более подробную информацию о видимости камеры, что позволит лучше контролировать процесс внедрения автономных транспортных средств.

Читайте:Nvidia AI может конвертировать видео со скоростью 30 кадров в секунду в 240 кадров в секунду

Что касается производительности [текущей ClearSightNet], сеть работает примерно за 1,3 миллисекунды (встроенный графический процессор) и 0,7 миллисекунды (дискретный графический процессор) на кадр на Xavier. Он уже доступен в NVIDIA DRIVE 9.0.