AI-система Duke University дает роботам человеческое восприятие для безопасной навигации

Duke University, Дурхэм, штат Северная Каролина

WildFusion использует комбинацию зрения, тактиля, звука и баланса, чтобы помочь четырехногим роботам лучше навигировать в сложной местности, как густые леса. (Изображение: Duke University)

Вызов мультисенсорной навигации для роботов

Богатство информации, предоставляемое нашими чувствами, позволяющее нашему мозгу навигировать в окружающем мире, удивительно. Осязание, обоняние, слух и сильный чувство баланса критичны для преодоления того, что нам кажется легкими средами, такими как расслабляющая прогулка в выходной утро.

Врожденное понимание кроны над головой помогает нам понять, куда ведет тропа. Хруст веток или мягкая подушка мха информирует нас о стабильности нашего опоры. Гром падающего дерева или веток, танцующих на сильном ветре, предупреждает о потенциальных опасностях поблизости.

Роботы, напротив, долго полагались исключительно на визуальную информацию, такую как камеры или LiDAR, для движения в мире. Вне Голливуда, мультисенсорная навигация долго оставалась сложной для машин. Лес, с его красивым хаосом густой подлески, павших бревен и постоянно меняющейся местности, — лабиринт неопределенности для традиционных роботов.

WildFusion: мультимодальный фреймворк для навигации

Теперь исследователи из Duke University разработали новый фреймворк под названием WildFusion, который объединяет зрение, вибрацию и тактильность, позволяя роботам «чувствовать» сложные внешние среды так же, как люди.

«WildFusion открывает новую главу в роботизированной навигации и 3D-картировании», — сказал Боян Чен, الأستاذ помощника по механической инженерии и материалам, электротехнике и компьютерной инженерии и компьютерным наукам в Duke University. «Он помогает роботам работать более уверенно в неструктурированных, непредсказуемых средах, таких как леса, зоны катастроф и бездорожье».

«Типичные роботы сильно полагаются на зрение или LiDAR в одиночку, что часто терпит неудачу без четких путей или предсказуемых ориентиров», — добавила Яньбайхуй Лю, ведущий автор-студент и аспирант второго года в Лаборатории общей робототехники Чена. «Даже передовые методы 3D-картировки борются с реконструкцией непрерывной карты, когда сенсорные данные разреженные, шумные или неполные — частая проблема в неструктурированных внешних средах. Именно эту проблему WildFusion был разработан для решения».

WildFusion, построенная на четырехногом роботе, интегрирует множественные сенсорные модальности, включая RGB-камеру, LiDAR, инерциальные сенсоры и, заметно, контактные микрофоны и тактильные сенсоры. Как и в традиционных подходах, камера и LiDAR захватывают геометрию, цвет, расстояние и другие визуальные детали среды. То, что делает WildFusion особенной, — это использование акустических вибраций и тактильности.

Пока робот идет, контактные микрофоны записывают уникальные вибрации, генерируемые каждым шагом, захватывая тонкие различия, такие как хруст сухих листьев против мягкого слюнявления грязи. В то же время тактильные сенсоры измеряют, сколько силы приложено к каждой ноге, помогая роботу чувствовать стабильность или скользкость в реальном времени. Эти добавленные чувства также дополнены инерциальным сенсором, собирающим данные ускорения для оценки того, насколько робот качается, креняется или тангажирует при преодолении неровной земли.

Глубокое обучение с неявными нейронными представлениями

Каждый тип сенсорных данных затем обрабатывается через специализированные энкодеры и сливается в единое богатое представление. В сердце WildFusion — модель глубокого обучения, основанная на идее неявных нейронных представлений. В отличие от традиционных методов, рассматривающих среду как коллекцию дискретных точек, этот подход моделирует сложные поверхности и особенности непрерывно, позволяя роботу принимать более умные, более интуитивные решения о том, куда ступить, даже когда его зрение заблокировано или неоднозначно.

«Подумайте об этом как о решении головоломки, где некоторые части отсутствуют, но вы все равно можете интуитивно представить полную картину», — объяснил Чен. «Мультимодальный подход WildFusion позволяет роботу "заполнять пробелы", когда сенсорные данные разреженные или шумные, так же, как это делают люди».

Реальные тесты и перспективы

WildFusion тестировалась в парке Эно Ривер в Северной Каролине недалеко от кампуса Duke, успешно помогая роботу навигировать в густых лесах, лугах и гравийных тропинках. «Наблюдение за тем, как робот уверенно навигирует по местности, было невероятно вознаграждающе», — поделилась Лю.

«Эти реальные тесты доказали удивительную способность WildFusion точно предсказывать проходимость, значительно улучшая принятие решений роботом о безопасных путях через сложную местность», — сказала Лю.

Взглянув вперед, команда планирует расширить систему, включив дополнительные сенсоры, такие как термические или влажностные детекторы, для дальнейшего усиления способности робота понимать и адаптироваться к сложным средам. С ее гибким модульным дизайном WildFusion предоставляет огромный потенциал применений за пределами лесных троп, включая реагирование на катастрофы по непредсказуемым территориям, инспекцию удаленной инфраструктуры и автономное исследование. «Одной из ключевых проблем робототехники сегодня является разработка систем, которые не только хорошо работают в лаборатории, но надежно функционируют в реальных условиях», — сказал Чен. «Это означает роботов, которые могут адаптироваться, принимать решения и продолжать двигаться».

Для получения дополнительной информации свяжитесь с Бояном Ченом по адресу This email address is being protected from spambots. You need JavaScript enabled to view it..