Инженеры Университета Мэриленда создают усовершенствованную камеру на основе глаз, улучшающую зрение роботов

Университет Мэриленда, Колледж-Парк, Мэриленд

Схема, изображающая новую систему камер AMI-EV. (Изображение:предоставлено Лабораторией компьютерного зрения UMIACS)

Команда ученых-компьютерщиков из Университета Мэриленда изобрела механизм камеры, который улучшает то, как роботы видят и реагируют на окружающий мир. Вдохновленная тем, как работает человеческий глаз, их инновационная система камер имитирует крошечные непроизвольные движения, используемые глазом для поддержания четкого и стабильного зрения с течением времени. Прототипирование и тестирование камеры, получившей название «Камера событий с искусственными микросаккадами» (AMI-EV), были подробно описаны в статье, опубликованной в журнале Science Robotics в мае 2024 года.

«Камеры для событий — это относительно новая технология, которая лучше отслеживает движущиеся объекты, чем традиционные камеры, но сегодняшние камеры для событий с трудом могут захватывать четкие изображения без размытия, когда происходит много движения», — сказал ведущий автор статьи Ботао Хэ, доктор компьютерных наук. студент Университета Мэриленда. "Это большая проблема, поскольку роботы и многие другие технологии, такие как беспилотные автомобили, полагаются на точные и своевременные изображения, чтобы правильно реагировать на изменяющуюся окружающую среду. Поэтому мы спросили себя:как люди и животные гарантируют, что их зрение остается сосредоточенным на движущемся объекте?"

Для команды Хэ ответом стали микросаккады, небольшие и быстрые движения глаз, которые непроизвольно происходят, когда человек пытается сфокусировать взгляд. Благодаря этим мелким, но непрерывным движениям человеческий глаз может точно фокусироваться на объекте и его визуальных текстурах, таких как цвет, глубина и тень, с течением времени.

«Мы решили, что точно так же, как наши глаза нуждаются в этих крошечных движениях, чтобы оставаться в фокусе, камера могла бы использовать аналогичный принцип для получения четких и точных изображений без размытия, вызванного движением», — сказал он.

Команда успешно воспроизвела микросаккады, вставив вращающуюся призму внутрь AMI-EV, чтобы перенаправлять лучи света, захватываемые линзой. Непрерывное вращательное движение призмы имитировало движения, естественные для человеческого глаза, позволяя камере стабилизировать текстуры записываемого объекта так же, как это делал бы человек. Затем команда разработала программное обеспечение для компенсации движения призмы внутри AMI-EV и консолидации стабильных изображений при меняющемся свете.

Соавтор исследования Яннис Алоймонос, профессор компьютерных наук в Университете Мэриленда, считает изобретение команды большим шагом вперед в области роботизированного зрения.

"Наши глаза фотографируют мир вокруг нас, и эти изображения отправляются в наш мозг, где изображения анализируются. Восприятие происходит в ходе этого процесса, и именно так мы понимаем мир", - объяснил Алоимонос, который также является директором лаборатории компьютерного зрения в Институте перспективных компьютерных исследований Университета Мэриленда (UMIACS). "Когда вы работаете с роботами, замените глаза камерой, а мозг компьютером. Чем лучше камера, тем лучше восприятие и реакция роботов".

Исследователи также полагают, что их инновации могут иметь серьезные последствия, выходящие за рамки робототехники и национальной обороны. Ученые, работающие в отраслях, где важна точность захвата изображений и определение формы, постоянно ищут способы улучшить свои камеры, и AMI-EV может стать ключевым решением многих проблем, с которыми они сталкиваются.

«Благодаря своим уникальным функциям датчики событий и AMI-EV могут занять центральное место в сфере умных носимых устройств», — сказала ученый-исследователь Корнелия Фермюллер, старший автор статьи. "Они имеют явные преимущества перед классическими камерами, такие как превосходная производительность в экстремальных условиях освещения, низкая задержка и низкое энергопотребление. Эти функции идеально подходят, например, для приложений виртуальной реальности, где необходимы плавный опыт и быстрые вычисления движений головы и тела".

В ходе ранних испытаний AMI-EV смог точно фиксировать и отображать движение в различных контекстах, включая обнаружение пульса человека и идентификацию быстро движущихся форм. Исследователи также обнаружили, что AMI-EV может захватывать движение со скоростью десятков тысяч кадров в секунду, превосходя по производительности большинство доступных коммерческих камер, которые в среднем снимают от 30 до 1000 кадров в секунду. Такое более плавное и реалистичное изображение движения может сыграть решающую роль во всем:от создания более захватывающих возможностей дополненной реальности и лучшего мониторинга безопасности до улучшения того, как астрономы снимают изображения в космосе.

«Наша новая система камер может решить множество конкретных проблем, например помочь беспилотному автомобилю определить, кто на дороге является человеком, а кто нет», — сказал Алоимонос. "В результате у него есть множество приложений, с которыми уже взаимодействует большая часть широкой публики, например, системы автономного вождения или даже камеры смартфонов. Мы считаем, что наша новая система камер прокладывает путь для появления более совершенных и функциональных систем".

Для получения дополнительной информации свяжитесь с Джорджией Цзян по адресу:Этот адрес электронной почты защищен от спам-ботов. Для просмотра у вас должен быть включен JavaScript.