Инженеры Мерилендского университета создали передовик камеру, вдохновленную глазом, улучшающую роботизированное зрение

University of Maryland, Колледж-Парк, штат Мэриленд

Диаграмма, изображающая новаторскую камерную систему AMI-EV. (Изображение: Courtesy of the UMIACS Computer Vision Laboratory)

Принцип работы: микроссаккады

Команда под руководством ученых-компьютерщиков Университета Мериленд изобрела механизм камеры, улучшающий то, как роботы видят и реагируют на мир вокруг них. Вдохновленная работой человеческого глаза, их инновационная камерная система имитирует крошечные неволейные движения, которые глаз использует для поддержания четкого и стабильного зрения во времени. Прототипирование и тестирование камеры — названной Artificial Microsaccade-Enhanced Event Camera (AMI-EV) — были детально описаны в статье, опубликованной в журнале Science Robotics в мае 2024 года.

«Событийные камеры — относительно новая технология, лучше отслеживающая движущиеся объекты, чем традиционные камеры, но сегодняшние событийные камеры борются за захват четких, без размытия изображений, когда задействовано много движения», — сказал ведущий автор Ботао Хэ, аспирант по компьютерным наукам в Университете Мериленд. «Это большая проблема, потому что роботы и многие другие технологии, такие как беспилотные автомобили, полагаются на точные и своевременные изображения для правильной реакции на меняющуюся среду. Поэтому мы спросили себя: Как люди и животные обеспечивают, чтобы их зрение оставалось сфокусированным на движущемся объекте?»

Для команды Хэ ответом были микроссаккады — маленькие и быстрые движения глаз, которые неволейно происходят, когда человек пытается сфокусировать свой взгляд. Через эти минутные, но непрерывные движения человеческий глаз может сохранять фокус на объекте и его визуальных текстурах — таких как цвет, глубина и тени — точно во времени.

«Мы поняли, что так же как наши глаза нуждаются в тех крошечных движениях для сохранения фокуса, камера могла бы использовать похожий принцип для захвата четких и точных изображений без размытия, вызванного движением», — сказал Хэ.

Реализация в AMI-EV

Команда успешно реплицировала микроссаккады, вставив вращающийся призму внутри AMI-EV для перенаправления лучей света, захваченных линзой. Непрерывное вращательное движение призмы симулировало естественно происходящие движения внутри человеческого глаза, позволяя камере стабилизировать текстуры записанного объекта так же, как это делает человек. Затем команда разработала программное обеспечение для компенсации движения призмы внутри AMI-EV для консолидации стабильных изображений из сдвигающихся лучей.

Соавтор исследования Янис Алоимонос, профессор компьютерных наук в Университете Мериленд, рассматривает изобретение команды как большой шаг вперед в области роботизированного зрения.

«Наши глаза делают снимки мира вокруг нас, и эти снимки отправляются в наш мозг, где изображения анализируются. Восприятие происходит через этот процесс, и так мы понимаем мир», — объяснил Алоимонос, который также является директором Лаборатории компьютерного зрения в Институте передовых компьютерных исследований Университета Мериленд (UMIACS). «Когда вы работаете с роботами, замените глаза камерой, а мозг — компьютером. Лучшие камеры означают лучшее восприятие и реакции для роботов».

Широкие применения

Исследователи также верят, что их инновация может иметь значительные последствия за пределами робототехники и национальной обороны. Ученые, работающие в отраслях, полагающихся на точный захват изображения и детекцию формы, постоянно ищут способы улучшить свои камеры, и AMI-EV может стать ключевым решением для многих проблем, с которыми они сталкиваются.

«С их уникальными особенностями событийные сенсоры и AMI-EV готовы занять центральное место в области умных носимых устройств», — сказала научный сотрудник Корнелия Фермюллер, старший автор статьи. «Они имеют четкие преимущества перед классическими камерами, такие как превосходная производительность в экстремальных условиях освещения, низкая задержка и низкое потребление энергии. Эти характеристики идеальны для приложений виртуальной реальности, например, где необходимы бесшовный опыт и быстрые вычисления движений головы и тела».

В ранних тестах AMI-EV смог захватить и отобразить движение точно в различных контекстах, включая детекцию пульса человека и идентификацию быстро движущихся форм. Исследователи также обнаружили, что AMI-EV может захватывать движение в десятки тысяч кадров в секунду, превосходя большинство типично доступных коммерческих камер, которые захватывают 30–1000 кадров в секунду в среднем. Этот более гладкий и реалистичный образ движения может оказаться поворотным во всем: от создания более иммерсивных дополненных реальностей и лучшего мониторинга безопасности до улучшения того, как астрономы захватывают изображения в космосе.

«Наша новаторская камерная система может решить многие конкретные проблемы, например, помочь беспилотному автомобилю выяснить, что на дороге является человеком, а что нет», — сказал Алоимонос. «В результате у нее много применений, с которыми большая часть общей публики уже взаимодействует, такие как системы автономного вождения или даже камеры смартфонов. Мы верим, что наша новаторская камерная система проложила путь для более передовых и способных систем в будущем».

Для дополнительной информации свяжитесь с Джорджей Цзян: This email address is being protected from spambots. You need JavaScript enabled to view it..