Автопилоты осваивают навигацию в узких улицах

Представьте: два автомобиля движутся навстречу друг другу по односторонней улице.

Если вы за рулем в таком сложном сценарии, вы можете договориться с окружающими. Можно прижаться к обочине и помахать рукой водителю впереди, чтобы он проехал по узкой полосе. Взаимодействуя, можно найти маневры, сохраняющие безопасность всех и позволяющие добраться до цели.

У беспилотного автомобиля задача сложнее: он должен понять ближайших водителей и их готовность сотрудничать.

Новый алгоритм в разработке может вести автономный транспорт через сложный трафик на переполненной узкой улице.

Алгоритм, созданный исследователями из Центра автономных автомобилей Argo AI в Карнеги-Меллоновском университете , принимает решения, моделируя разные уровни кооперативности водителей — насколько вероятно, что водитель прижмется к обочине, чтобы пропустить другого.

С помощью «многоагентного обучения с подкреплением» (MARL) команда во главе с исследователем Кристофом Киллингом заставила автономные автомобили демонстрировать человекоподобное поведение, включая оборонительное вождение и интерпретацию поведения других агентов — пока только в симуляции.

Алгоритм еще не использовался на реальном автомобиле, но результаты перспективны благодаря системе вознаграждений модели.

«Мы поощряем взаимодействие с учетом безопасности», — сказал Киллинг, бывший посетитель-исследователь в Институте робототехники Школы информатики  и ныне сотрудник Лаборатории автономных аэриальных систем в Техническом университете Мюнхена.

В коротком Q&A с Tech Briefs ниже Кристоф объясняет подробнее, как их стимулирующая модель справляется с трудными трафиковыми ситуациями, где нет официальных правил дорожного движения.

Tech Briefs: Как бы вы охарактеризовали свою модель: более кооперативной или агрессивной, при навигации в задаче, требующей и того, и другого?

Кристоф Киллинг: Как в любом сценарии вождения, автономные автомобили должны ставить безопасность на первое место и соблюдать все правила дорожного движения. Однако — и в этом красота и сложность рассматриваемого сценария — не существует координирующих правил дорожного движения в такой ситуации (в отличие от перекрестков с остановкой на четырех сторонах, например). Два автомобиля с равным правом проезда должны договориться, кто едет первым, а кто ждет.

Если оба автомобиля чисто сосредоточены на безопасности, оба прижмутся к обочине. Ключевая проблема нашего исследования: как заставить один автомобиль прижаться, а другой ехать — не заставляя оба прижиматься или оба ехать, когда каждый принимает решение самостоятельно без координирующего центра.

Мы стимулируем взаимодействие с учетом безопасности; столкновение на скорости хуже, чем тайм-аут — но тайм-ауты также несут небольшую штрафную санкцию, чтобы поощрить агентов учиться взаимодействовать и проезжать мимо друг друга.

Tech Briefs: Каковы основные параметры, которые ваша модель использует для выполнения вождения? На какие критерии опирается алгоритм при принятии решений?

Кристоф Киллинг: Наш алгоритм воспринимает то, что доступно в реальном автомобиле. У нас есть измерения расстояния и относительной скорости вокруг передней части машины (см. Рисунок 2 в отчете ). В отличие от смежных работ, мы не используем вид сверху на сценарий, а эгоцентрическую перспективу. Это немного сложнее, так как появляются слепые зоны. Это наблюдение дополняется дополнительными параметрами, такими как упомянутая кооперативность, сообщающая агенту, насколько агрессивно вести себя, а также текущий угол руля и положение педали газа (которые вы также знаете, когда сами ведете в этом сценарии).

Tech Briefs: Что остается сложным для алгоритма?

Кристоф Киллинг: Две главные проблемы: слишком агрессивные пары и слишком пассивные пары. (Сравните визуализации .) Заметно, что наши политики могут договориться в сценарии в большинстве случаев. Однако пассажиры могли бы быть довольно недовольны некоторыми маневрами, показанными здесь .

Tech Briefs: Что делает алгоритм, когда ясно, что встречный водитель ведет себя агрессивно, «плохо»? Или слишком «кооперативно»?

Кристоф Киллинг: Мы тестируем политики вождения, назначая каждому автомобилю значение кооперативности, указывающее, насколько агрессивно вести себя. Каждый знает только свою кооперативность, не зная о кооперативности встречного автомобиля. Эти значения преобразуются в поведение вождения довольно прямолинейно: некооперативный водитель заинтересован только в собственном прогрессе. Высококооперативный водитель не против, какой автомобиль двигается первым, лишь бы кто-то пошел. Эти значения фиксированы на протяжении взаимодействия.

(Мы не рассматриваем «потерю терпения». Не буду углубляться, но оставим на «математические причины».).

Tech Briefs: Требует ли часть модели своего рода «чтения» встречного водителя?

Кристоф Киллинг: Слово о «чтении»: в робототехнике различают состояние мира (планета Земля прямо сейчас) и наблюдение. Наши автомобили не имеют модуля памяти. Как тогда справляться с тем, что мы не видим в данный момент?

Еще о беспилотных автомобилях на Tech Briefs

Система предупреждения для беспилотных автомобилей учится на ошибках.

ПО из Технического университета Мюнхена держит беспилотные автомобили на безопасном пути.

Представьте, что вы на Zoom-звонке с кем-то. Вы воспринимаете частичное наблюдение планеты Земля, так сказать. Другая сторона берет кружку кофе за пределами поля зрения камеры, делает глоток и ставит обратно за пределами поля зрения. Если вы учитываете только последнее наблюдение после того, как кружка поставлена, и вас спрашивают, что они пьют, вы просто не знаете (потому что нет памяти). Но если сложить (мы называем это «конкатенацией») несколько наблюдений за последние секунды, можно сделать вывод о состоянии мира, так как вы видите движение кружки через несколько кадров. Основываясь на скорости движения, можно даже судить о их настроении.

Точно так же в нашем сценарии каждый автомобиль знает другого агента только на основе того, что может наблюдать из пространства наблюдения (показано на Рисунке 2 в статье ). Внутренние состояния (значение кооперативности другой машины, например) неизвестны. Мы конкатенируем несколько частичных наблюдений каждого автомобиля, чтобы позволить им неявно сформировать представление о том, насколько кооперативен другой автомобиль. Мы не делаем это вручную, а поручаем задачу глубокой нейронной сети, искусственному интеллекту. Эта нейросеть также должна научиться отвечать на ваш вопрос: что делать после того, как замечена определенная агрессивность или чрезмерная кооперативность.

Tech Briefs: Как модель отмечает «агрессивное» или «кооперативное» поведение и реагирует соответственно?

Кристоф Киллинг: Чересчур агрессивный агент может, например, просто проехать в узкое место сценария, фактически заставляя другого агента ждать. Чересчур кооперативный агент — как только полная степень узкого места становится воспринимаемой его сенсорами — замедляется и ждет. Здесь наша политика обучена немедленно выбирать дополнительное действие: обнаружить замедление и ехать, или наоборот.

Tech Briefs: Что дальше для этого исследования?

Кристоф Киллинг: Много чего: три главных пункта. Во-первых, текущая работа — только автономный автомобиль против автономного. Нужно расширить до автономного автомобиля против человека и посмотреть, как мы сотрудничаем с ними. Во-вторых, в нашей работе автомобили могут двигаться только вперед, мы не разрешаем задний ход. Однако это могло бы помочь выбраться из ситуаций застоя. В-третьих, наша работа пока только симуляция. Перенос в реальное решение — большой шаг, который нужно сделать в какой-то момент.

Как вы думаете? Делитесь вопросами и комментариями ниже.