Система искусственного интеллекта Университета Дьюка дает роботам человеческие ощущения для более безопасной навигации

Университет Дьюка, Дарем, Северная Каролина

WildFusion использует комбинацию зрения, осязания, звука и равновесия, чтобы помочь четвероногим роботам лучше перемещаться по сложной местности, например, по густым лесам. (Изображение:Университет Дьюка)

Богатство информации, предоставляемой нашими органами чувств и позволяющей нашему мозгу ориентироваться в окружающем нас мире, поразительно. Осязание, обоняние, слух и сильное чувство равновесия имеют решающее значение для преодоления кажущейся нам легкой обстановки, например расслабляющей прогулки утром в выходной день.

Врожденное понимание высоты купола помогает нам понять, куда ведет путь. Резкий хруст ветвей или мягкая подушка мха сообщают нам об устойчивости нашего положения. Гром падающего дерева или пляшущие на сильном ветру ветви сообщают нам о потенциальной опасности поблизости.

Роботы, напротив, уже давно полагаются исключительно на визуальную информацию, такую как камеры или LiDAR, для перемещения по миру. За пределами Голливуда мультисенсорная навигация долгое время оставалась сложной задачей для машин. Лес с его прекрасным хаосом густого подлеска, упавшими бревнами и постоянно меняющимся рельефом представляет собой лабиринт неопределенности для традиционных роботов.

Теперь исследователи из Университета Дьюка разработали новую систему под названием WildFusion, которая объединяет зрение, вибрацию и осязание, позволяя роботам «чувствовать» сложную внешнюю среду так же, как это делают люди.

«WildFusion открывает новую главу в роботизированной навигации и 3D-картографии», — сказал Боюань Чен, доцент кафедры машиностроения и материаловедения, электротехники и вычислительной техники, а также компьютерных наук в Университете Дьюка из семьи Дикинсон. «Это помогает роботам действовать более уверенно в неструктурированных и непредсказуемых условиях, таких как леса, зоны стихийных бедствий и бездорожье».

«Типичные роботы в значительной степени полагаются только на зрение или LiDAR, которые часто дают сбои без четких путей или предсказуемых ориентиров», — добавил Янбайхуэй Лю, ведущий автор исследования и доктор философии второго курса. студент лаборатории общей робототехники Чена. "Даже передовые методы 3D-картографии с трудом восстанавливают непрерывную карту, когда данные датчиков разрежены, зашумлены или неполны, что является частой проблемой в неструктурированной внешней среде. Именно для решения этой проблемы и был создан WildFusion".

WildFusion, построенный на четвероногом роботе, объединяет несколько методов зондирования, включая камеру RGB, LiDAR, инерциальные датчики и, в частности, контактные микрофоны и тактильные датчики. Как и в традиционных подходах, камера и LiDAR фиксируют геометрию окружающей среды, цвет, расстояние и другие визуальные детали. Что делает WildFusion особенным, так это использование акустических вибраций и прикосновений.

Пока робот идет, контактные микрофоны записывают уникальные вибрации, генерируемые каждым шагом, улавливая тонкие различия, такие как хруст сухих листьев и мягкое хлюпанье грязи. Между тем, тактильные датчики измеряют силу, приложенную к каждой ноге, помогая роботу определять устойчивость или скользкость в режиме реального времени. Эти дополнительные чувства также дополняются инерционным датчиком, который собирает данные об ускорении, чтобы оценить, насколько робот раскачивается, раскачивается или катится при движении по неровной поверхности.

Каждый тип сенсорных данных затем обрабатывается специализированными кодировщиками и объединяется в единое расширенное представление. В основе WildFusion лежит модель глубокого обучения, основанная на идее неявных нейронных представлений. В отличие от традиционных методов, которые рассматривают окружающую среду как набор дискретных точек, этот подход непрерывно моделирует сложные поверхности и элементы, позволяя роботу принимать более разумные и интуитивные решения о том, куда наступать, даже если его зрение заблокировано или неоднозначно.

«Думайте об этом как о решении головоломки, в которой не хватает некоторых частей, но вы можете интуитивно представить полную картину», — объяснил Чен. «Мультимодальный подход WildFusion позволяет роботу «заполнять пробелы», когда данные с датчиков скудны или зашумлены, как это делают люди».

WildFusion был протестирован в государственном парке Ино-Ривер в Северной Каролине недалеко от кампуса Дьюка и успешно помог роботу перемещаться по густым лесам, лугам и гравийным дорожкам. «Было невероятно приятно наблюдать, как робот уверенно перемещается по местности», — поделился Лю.

«Эти реальные испытания доказали замечательную способность WildFusion точно прогнозировать проходимость, значительно улучшая процесс принятия решений роботом на безопасном пути через сложную местность», — сказал Лю.

Заглядывая в будущее, команда планирует расширить систему за счет включения дополнительных датчиков, таких как датчики температуры или влажности, чтобы еще больше повысить способность робота понимать и адаптироваться к сложным условиям. Благодаря своей гибкой модульной конструкции WildFusion обеспечивает широкие возможности применения за пределами лесных троп, включая реагирование на стихийные бедствия на непредсказуемой местности, проверку удаленной инфраструктуры и автономное исследование. «Одной из ключевых задач робототехники сегодня является разработка систем, которые не только хорошо работают в лаборатории, но и надежно функционируют в реальных условиях», — сказал Чен. «Это означает, что роботы могут адаптироваться, принимать решения и продолжать двигаться».

Для получения дополнительной информации свяжитесь с Боюаном Ченом по адресу:Этот адрес электронной почты защищен от спам-ботов. Для просмотра у вас должен быть включен JavaScript.