Робот обнаруживает изменения в 3D и делится ими в режиме реального времени

Даже небольшие изменения в окружении солдата могли указывать на опасность. Теперь робот может обнаруживать эти изменения, и предупреждение может немедленно предупредить солдата через дисплей в ее очках. Исследователи продемонстрировали в реальной среде первую команду человек-робот, в которой робот обнаруживает физические изменения в 3D и делится этой информацией с человеком в режиме реального времени через дополненную реальность. Затем человек может оценить полученную информацию и принять решение о дальнейших действиях.

Работа была проделана для обеспечения контекстуальной осведомленности автономных роботизированных наземных платформ в сценариях маневрирования и мобильности. Большинство академических исследований по использованию интерфейсов смешанной реальности для совместной работы человека и робота не проводятся в реальных условиях, а скорее используют внешние инструменты в лаборатории для управления вычислениями, необходимыми для обмена информацией между человеком и роботом. Точно так же большинство инженерных усилий по предоставлению людям интерфейсов смешанной реальности не рассматривают возможность совместной работы с автономными мобильными роботами.

Новое исследование объединило небольшого автономного мобильного наземного робота, оснащенного лазерными датчиками дальности, известными как LiDAR, для создания представления окружающей среды с товарищем по команде в очках дополненной реальности. Когда робот патрулировал окружающую среду, он сравнивал свои текущие и предыдущие показания, чтобы обнаружить изменения в окружающей среде. Затем эти изменения мгновенно отображались в очках человека, чтобы определить, может ли человек интерпретировать изменения в окружающей среде.

Изучая связь между роботом и группой людей, исследователи протестировали датчики LiDAR с различным разрешением на роботе, чтобы собирать измерения окружающей среды и обнаруживать изменения. Когда эти изменения были переданы человеку с помощью дополненной реальности, исследователи обнаружили, что товарищи по команде могут интерпретировать изменения, обнаруженные даже LiDAR с более низким разрешением. Это указывает на то, что в зависимости от размера ожидаемых изменений более легкие, меньшие по размеру и менее дорогие датчики могут работать так же хорошо и быстрее в процессе.

В будущих исследованиях будет продолжено изучение того, как укрепить взаимодействие между людьми и автономными агентами, позволяя человеку взаимодействовать с обнаруженными изменениями, что предоставит роботу больше информации о контексте изменения; например, изменения, сделанные злоумышленниками, по сравнению с естественными изменениями окружающей среды или ложными срабатываниями. Это улучшит автономное понимание контекста и возможности рассуждений роботизированной платформы, например, позволяя роботу изучать и прогнозировать, какие типы изменений представляют угрозу. В свою очередь, такое понимание автономии поможет исследователям узнать, как улучшить объединение солдат с автономными платформами.