Робот в реальном времени обнаруживает 3D-изменения и повышает безопасность солдата через AR

Даже малые изменения в окружении солдата могут указывать на опасность. Теперь робот может обнаружить эти изменения, и предупреждение может мгновенно уведомить солдата через дисплей в ее очках. Исследователи продемонстрировали в реальной среде первую человеко-роботизированную команду, в которой робот обнаруживает физические изменения в 3D и передает эту информацию человеку в реальном времени через дополненную реальность. Человек затем способен оценить полученную информацию и решить о дальнейших действиях.

Работа выполнялась для обеспечения контекстуального осознания автономных роботизированных наземных платформ в сценариях маневрирования и подвижности. Большинство академических исследований по использованию интерфейсов смешанной реальности для человеко-роботизированных команд не выходят в реальные среды, а используют внешнюю инструментацию в лаборатории для управления вычислениями, необходимыми для обмена информацией между человеком и роботом. Так же большинство инженерных усилий по предоставлению людям интерфейсов смешанной реальности не изучают командную работу с автономными мобильными роботами.

Новое исследование соединило небольшого автономного наземного робота, оснащенного лазерными дальномерами (LiDAR), для построения представления среды, с человеком-партнером, надевающим очки дополненной реальности. Пока робот патрулировал среду, он сравнивал свои текущие и предыдущие показания для обнаружения изменений в среде. Эти изменения затем мгновенно отображались в очках человека, чтобы определить, может ли человек интерпретировать изменения в среде.

Изучая коммуникацию между роботом и человеком, исследователи тестировали LiDAR-датчики разного разрешения на роботе для сбора измерений среды и обнаружения изменений. Когда эти изменения передавались через дополненную реальность человеку, исследователи обнаружили, что человеческие партнеры могли интерпретировать изменения, обнаруженные даже низкоразрешающими LiDAR. Это указывает на то, что в зависимости от размера ожидаемых изменений, более легкие, маленькие и менее дорогие датчики могут работать так же хорошо и быстрее в процессе.

Будущие исследования продолжат изучать, как укрепить командную работу между людьми и автономными агентами, позволяя человеку взаимодействовать с обнаруженными изменениями, что даст больше информации роботу о контексте изменения; например, изменения, сделанные противниками, против естественных экологических изменений или ложных срабатываний. Это улучшит автономное понимание контекста и рассуждающие способности роботизированной платформы, например, позволяя роботу учиться и предсказывать, какие типы изменений составляют угрозу. В свою очередь, предоставление этого понимания автономии поможет исследователям узнать, как улучшить командную работу солдат с автономными платформами.