Прорыв CMU: обучение автономных дронов на кросс-модальных симулированных данных

Двухстадийный подход: восприятие и контроль отдельно

Исследователи Карнеги-Меллона (Роджерио Бонатти и др.) разделили обучение восприятия и действий, преодолев «sim-to-real gap». Дроны, обученные только на симуляции, успешно навигируют в реальности.

Методология

Восприятие (две модальности):
- Фотореалистичные изображения из симулятора (поле, красные ворота).
- Позиция и ориентация ворот в пространстве (из того же датасета).
Мультимодальное обучение создает робастное представление, переносимое в реальность. Сжатие изображений (low-dim) помогает игнорировать визуальный шум.
Управление (политика): В симуляции дрон учится скоростям навигации через ворота. Программа вычисляет оптимальную траекторию. Безопасно, быстро, дешево по сравнению с обучением экспертом в реальности.

Результаты и перспективы

Дрон учит элементы маневров (повороты, сложные треки), а не запоминает трассу.
Цель — подход к человеческой интерпретации среды (лаентное представление: визуальная инфо → контроль).
Применимо не только к гонкам дронов, но и к вождению, кулинарии и др. задачам ИИ.
Код открыт, статья принята на IROS 2020.

Flylogix и Cambridge Consultants используют спутники Iridium для безопасного удаленного управления дронами ABB запускает 3D-роботизированную ячейку инспекции, ускоряющую контроль качества в 10 раз

Система управления автоматикой

Производственный процесс

3D печать

Система управления автоматикой

Промышленные технологии