Прорыв ИИ: автономная навигация без карт с компасом, камерой и GPS

Facebook AI разработал алгоритм DD-PPO для навигации в сложных средах без карт

Он может навигировать через сложные среды, используя только данные компаса, RGB-D камеры и GPS.

Разработка интеллектуальных машин, умно взаимодействующих с физическим миром, была долгосрочной целью ИИ-сообщества. Главная проблема — научить эти машины эффективно навигировать через сложные, незнакомые среды без использования какой-либо карты.

Обычно реальные карты устаревают за месяцы, так как здания и структуры меняются, а объекты перемещаются. Поэтому совершенно необходимо строить ИИ для физического мира, который может навигировать без карты.

Имея это в виду, исследователи Facebook AI разработали новый алгоритм обучения с подкреплением (RL), который эффективно решает задачу навигации к точечной цели, используя только данные компаса, RGB-D камеры и GPS. Этот крупномасштабный алгоритм назван DD-PPO (децентрализованная распределенная проксимальная оптимизация политики).

Новая распределенная RL-архитектура масштабируется хорошо

В настоящее время системы на базе машинного обучения способны превзойти человеческих экспертов в различных сложных играх. Но поскольку эти системы полагаются на массивный объем обучающих образцов, довольно невозможно построить их без крупномасштабного распределенного параллелизма.

Текущая распределенная архитектура RL — включающая тысячи рабочих (CPU) и один сервер параметров — не масштабируется хорошо. Поэтому исследователи предложили синхронную распределенную технику обучения с подкреплением.

DD-PPO работает на нескольких машинах и не имеет сервера параметров. Каждый рабочий (CPU) чередуется между сбором опыта в GPU-ускоренной, ресурсоемкой симулированной среде и оптимизацией модели. В явном состоянии коммуникации все рабочие синхронизируют свои обновления модели. Другими словами, распределение синхронно.

Все рабочие симулируют агента, выполняющего навигацию к точечной цели, затем оптимизируют модель и синхронизируют обновления | Так данные делятся во время обучения с DD-PPO

Используя этот подход, DD-PPO продемонстрировал почти линейное масштабирование: смог достичь ускорения 107 раз на 128 GPU над последовательной реализацией.

Источник: arXiv:1911.00357 | Facebook AI

Почти идеальная навигация к точечной цели

В навигации к точечной цели агент устанавливается в случайную начальную позицию/ориентацию в незнакомой среде и задается навигировать к целевым координатам без использования какой-либо карты. Он может использовать только компас, GPS и либо RGB, либо RGB-D камеру.

Исследователи использовали масштабируемость DD-PPO для обучения агента на 2,5 миллиарда шагов, что эквивалентно 80 годам человеческого опыта. Вместо месяцев обучение завершилось менее чем за три дня с 64 GPU.

Результаты показали, что 90% пиковой производительности было получено в первых 100 миллионов шагов с меньшими вычислительными ресурсами (8 GPU). С миллиардами шагов опыта агент достигает вероятности успеха 99,9%. В контрасте, предыдущие системы достигли 92% вероятности успеха.

Агент отступает назад после выбора неверного пути к целевой позиции | Источник: исследователи

Применения

Эти ИИ-агенты могут помогать людям в физическом мире. Например, они могут показывать релевантную информацию пользователям в очках дополненной реальности, роботы могут извлекать предметы со стола наверху, ИИ-системы могут помогать людям с нарушениями зрения.

Модели, построенные в этом исследовании, могут работать в обычных условиях, таких как внутри лабораторий и офисных зданий, где дополнительные точки данных (карты и GPS) недоступны.

Хотя модель превосходит сверточные нейронные сети, предобученные на ImageNet, и может служить универсальным ресурсом, все еще есть много работы для разработки систем, которые учатся навигировать через сложные среды. Исследователи сейчас исследуют новые подходы для реализации RGB-только навигации к точечной цели.