Обнаружение «слепых зон» в ИИ для повышения безопасности беспилотных транспортных средств

• Новая модель на основе машинного обучения делает беспилотные автомобили более безопасными.
• Он обнаруживает случаи, когда ИИ может учиться на примерах, которые в реальном мире могут привести к опасным ошибкам.

Последние достижения в области искусственного интеллекта сделали беспилотные автомобили и автономных роботов умнее. Хотя беспилотные автомобили все еще находятся в зачаточном состоянии, они становятся все более распространенными и могут радикально преобразовать нашу транспортную систему в ближайшие годы.

Недавно исследователи из Массачусетского технологического института и Microsoft разработали модель, которая может обнаруживать «слепые пятна» автономных систем с помощью человеческого вмешательства. Он определяет случаи, когда эти автономные системы учатся (на обучающих примерах или в симуляциях), когда они могут ошибаться в реальных условиях.

Например, ИИ, управляющий беспилотными автомобилями, тщательно обучен симуляции, чтобы подготовить автомобиль практически ко всем возможным сценариям на дороге. Однако в реальном мире система иногда допускает ошибки:она не меняет своего поведения (там, где должно) в определенных сценариях.

Например, если автомобиль без водителя (не прошедший специальную подготовку) едет по шоссе, а скорая помощь включает сирену, машина может воспринимать скорую помощь только как большую белую машину и не может остановиться или уступить дорогу машине скорой помощи или другой аварийной ситуации. транспортных средств.

Исследователи хотят преодолеть разрыв между симуляцией и реальным миром, интегрируя человеческий вклад и помогая автономным системам лучше узнать то, чего они не знают.

Как модель учитывает отзывы людей?

Автономная система изначально обучается на виртуальном моделировании, в котором каждая ситуация отображает наилучшее действие. Затем он развертывается в реальном мире, где люди прерывают работу системы всякий раз, когда она совершает неправильные действия.

Люди могут подавать данные либо поправками, либо демонстрациями. Чтобы внести коррективы, человек может сесть на сиденье водителя, пока автомобиль движется по запланированному маршруту. Если система предпримет несоответствующие действия, человек может сесть за руль, и это отправит сигнал ИИ о том, что он предпринимал неправильные действия и что ему следует делать в этой конкретной ситуации.

Ссылка:arXiv:1805.08966 | Массачусетский технологический институт

В качестве альтернативы люди могут обучить систему, демонстрируя / управляя транспортным средством в реальном мире. Система анализирует и сравнивает каждое действие человека с тем, что он сделал бы в этом состоянии. Каждое несоответствие (если оно есть) указывает на недопустимые действия системы.

Работа со слепыми пятнами

По окончании ручного обучения в системе появляется список допустимых и недопустимых действий. Цель состоит в том, чтобы обнаруживать неоднозначные ситуации (или слепые пятна), которые AI трудно различить.

Предоставлено исследователями | Массачусетский технологический институт

Например, автономная система могла несколько раз проезжать рядом с большим транспортным средством, не останавливаясь. Однако, если он делает то же самое с машиной скорой помощи (которая выглядит точно так же для ИИ), он получает сигнал обратной связи, представляющий недопустимое действие.

Чтобы справиться с подобной ситуацией, команда использовала метод машинного обучения, известный как алгоритм Давида-Скина. Он собирает все слепые зоны, помеченные как "приемлемые" и "неприемлемые", объединяет их и использует вычисления вероятности для выявления закономерностей в этих ярлыках.

Затем алгоритм выдает единое агрегированное слепое пятно вместе с уровнем достоверности для каждой ситуации. Он также генерирует тепловую карту, которая показывает от низкой до высокой вероятность оказаться слепым пятном для каждой ситуации.

Читайте:новый алгоритм самоуправляемого транспортного средства может агрессивно менять полосу движения

В реальном мире, если модель отображает ситуацию как слепое пятно с высокой вероятностью, она может попросить человека предпринять соответствующие действия, что обеспечит более безопасное выполнение. Этот тип модели также может помочь автономным роботам предсказать, когда они могут предпринять несоответствующие действия в новых условиях.