Исследователи CMU обучают автономные дроны, используя кросс-модальные смоделированные данные

Чтобы летать автономно, дроны должны понимать, что они воспринимают в окружающей среде, и принимать решения на основе этой информации. (Смотрите видео ниже.)

Новый метод, разработанный исследователями Университета Карнеги-Меллона, позволяет дронам обучаться восприятию и действию по отдельности.

Двухэтапный подход преодолевает «разрыв между моделированием и реальностью» и создает способ безопасного развертывания дронов, полностью обученных на смоделированных данных, в реальной навигации по курсу.

Роджерио Бонатти, аспирант Института робототехники Школы компьютерных наук, говорит:«Обычно дроны, обученные даже на самых лучших фотореалистичных смоделированных данных, не работают в реальном мире, потому что освещение, цвета и текстуры все еще слишком разные, чтобы их можно было передать.

«Наш модуль восприятия обучен двум модальностям, чтобы повысить устойчивость к изменчивости окружающей среды».

Первая модальность, которая помогает тренировать восприятие дрона, — это изображение. Исследователи использовали фотореалистичный симулятор, чтобы создать среду, включающую дрон, футбольное поле и красные квадратные ворота, приподнятые над землей и расположенные случайным образом для создания дорожки.

Затем они создали большой набор данных смоделированных изображений из тысяч случайно сгенерированных конфигураций дронов и ворот.

Вторая модальность, необходимая для восприятия, — это знание положения и ориентации ворот в пространстве, что исследователи достигли, используя набор данных смоделированных изображений.

Обучение модели с использованием нескольких модальностей усиливает четкое представление опыта дрона, а это означает, что он может понимать суть поля и ворот таким образом, чтобы переходить от моделирования к реальности.

Сжатие изображений с меньшим количеством пикселей помогает этому процессу. Обучение на низкоразмерном представлении позволяет модели видеть сквозь визуальный шум в реальном мире и идентифицировать ворота.

Изучив восприятие, исследователи запускают дрон в симуляцию, чтобы он мог изучить свою политику управления или то, как физически двигаться.

В этом случае он узнает, какую скорость применять, когда движется по курсу и сталкивается с каждыми воротами. Поскольку это смоделированная среда, программа может рассчитать оптимальную траекторию полета дрона перед запуском.

Этот метод имеет преимущество перед обучением с учителем вручную с участием опытного оператора, поскольку обучение в реальном мире может быть опасным, трудоемким и дорогостоящим.

Дрон учится перемещаться по курсу, проходя этапы обучения, продиктованные исследователями. Бонатти сказал, что он ставит под сомнение определенные маневренности и направления, которые понадобятся дрону в реальном мире.

Бонатти говорит:«Я заставляю дрон поворачиваться влево и вправо по разным траекториям, которые становятся сложнее по мере того, как я добавляю больше шума. Робот не учится воссоздавать прохождение какой-либо конкретной дорожки.

«Скорее, стратегически управляя смоделированным дроном, он изучает все элементы и типы движений для автономной гонки».

Бонатти хочет подтолкнуть современные технологии, чтобы приблизить способность человека интерпретировать сигналы окружающей среды.

Он говорит:«Большая часть работы над автономными гонками на дронах до сих пор была сосредоточена на разработке системы, дополненной дополнительными датчиками и программным обеспечением, единственной целью которой является скорость.

«Вместо этого мы стремились создать вычислительную структуру, вдохновленную работой человеческого мозга, чтобы сопоставить визуальную информацию с правильными управляющими действиями, проходящими через скрытое представление».

Но гонки на дронах — это лишь одна из возможностей такого обучения. Метод разделения восприятия и контроля может быть применен ко многим различным задачам искусственного интеллекта, таким как вождение автомобиля или приготовление пищи.

Хотя эта модель основана на изображениях и положениях для обучения восприятию, другие модальности, такие как звуки и формы, могут использоваться для таких задач, как идентификация автомобилей, диких животных или объектов

В этой работе участвовали исследователи, в том числе Себастьян Шерер из Карнеги-Меллона, а также Ратнеш Мадаан, Вибхав Винит и Ашиш Капур из корпорации Microsoft.

Документ Изучение зрительно-моторных правил воздушной навигации с использованием кросс-модальных представлений , был принят на Международную конференцию по интеллектуальным роботам и системам 2020.

Код статьи находится в открытом доступе и доступен для других исследователей.