Система предупреждения для беспилотных автомобилей учится на ошибках

Новая модель беспилотных автомобилей учится на прошлых ошибках, замечая их заранее, иногда на 7 секунд.

В случае автономных транспортных средств неизвестная или сложная дорожная ситуация (например, перекрёсток с большим количеством людей) может привести к отключению системы автономного вождения либо из-за автоматических мер безопасности, либо из-за вмешательства человека.

Модель искусственного интеллекта Мюнхенского технического университета (TUM) использует тысячи реальных дорожных ситуаций — в частности, записанные последовательности отключения от тест-драйвов — в качестве обучающих данных для прогнозирования будущих отказов.

Чтобы прогнозировать сбои как можно раньше, подход на основе машинного обучения классифицирует последовательности данных датчиков как неудачные или успешные.

Например, если система обнаружит новую дорожную ситуацию, с которой система управления ранее не могла справиться, водитель будет заранее предупрежден о возможной критической ситуации.

Технология безопасности, разработанная TUM, использует датчики и камеры для регистрации окружающих условий, таких как угол поворота рулевого колеса, дорожные условия, погода, видимость и скорость. А.И. система, основанная на рекуррентной нейронной сети (RNN) и тысячах реальных дорожных ситуаций, учится распознавать шаблоны с данными.

Сам автомобиль рассматривается как черный ящик, ориентированный только на ввод и вывод данных. По словам мюнхенской команды, система самостоятельно учится на своих предыдущих ошибках.

«Большое преимущество нашей технологии:мы полностью игнорируем то, что думает автомобиль. Вместо этого мы ограничиваемся данными, основанными на том, что происходит на самом деле, и ищем закономерности», — сказал ведущий исследователь профессор Эккехард Штайнбах , который также является членом совета директоров Мюнхенской школы робототехники и машинного интеллекта (MSRM) в ТУМе,. «Таким образом, А.И. обнаруживает потенциально критические ситуации, которые модели могут не распознать или еще не обнаружить."

По словам Штайнбаха, система предлагает функцию безопасности, которая знает, когда и где у автомобилей есть слабые места.

Метод Штейнбаха и его команды сочетает в себе два типа датчиков. Модель на основе изображений учится обнаруживать сложные ситуации, например оживленную городскую улицу. Дополнительная модель на основе данных обнаруживает быстрые изменения непосредственно перед сбоем, такие как внезапное торможение или отклонение от курса. Результаты отдельных моделей объединяются путем усреднения отдельных вероятностей отказов.

BMW Group оценила «интроспективный подход к прогнозированию отказов» на основе 14 часов автономного вождения по дорогам общего пользования, проанализировав около 2500 ситуаций, когда водителю приходилось вмешиваться.

Согласно исследованию, опубликованному в декабре 2020 г. , подход позднего слияния позволяет прогнозировать сбои с точностью более 85 % — за семь секунд до их возникновения и с вероятностью ложных срабатываний 20 %.

В коротком интервью Tech Briefs ниже Штайнбах рассказывает о сильных сторонах подхода «черный ящик», а также об ограничениях современных мер безопасности транспортных средств.

Технические обзоры :Я думаю, это интересная идея:«Мы полностью игнорируем то, что думает машина. Вместо этого мы ограничиваемся данными, основанными на том, что происходит на самом деле, и ищем закономерности». Какие примеры шаблонов могут быть не распознаны моделью?

Проф. Экехард Штайнбах :В нашей работе мы смотрим на состояние автомобиля, такое как торможение и рулевое управление, а также на изображения с камеры, которые получает автомобиль, чтобы обнаружить закономерности, которые приводят к расцеплению. Хотя это позволяет нашей модели обнаруживать большой процент ситуаций, в которых управление должен взять на себя человек, в этих данных содержится не вся информация о вождении автомобиля.

В качестве простого примера повторяющееся торможение может быть обычной ездой в теплую погоду, но может указывать на предстоящее отключение, если дороги обледенелые и скользкие. Если изображения с камеры не фиксируют эту информацию об окружающей среде, этот шаблон нельзя использовать для различения обычного вождения от нарушенного. Хотя информации с камеры обычно достаточно для оценки дорожных условий, такие паттерны все же трудно распознать.

Подробнее о беспилотных автомобилях

Смотрите на Tech Briefs TV:Мичиган разрабатывает первый в своем роде коридор для подключенных и автономных транспортных средств.

В блоге:опрос экспертов исследует вопрос:как автономные системы повлияют на природу?

Технические обзоры :Почему «не обращать внимания на то, что думает машина» выгодно?

Проф. Экехард Штайнбах :Если автомобиль полностью правильно оценивает ситуацию, водителю не нужно будет вмешиваться. Однако чрезмерная самоуверенность является серьезной проблемой для многих моделей, используемых в автономном вождении. Записывая и извлекая уроки из этих ситуаций, мы можем научиться определять, является ли новая ситуация проблематичной, даже если автомобиль слишком уверен в этом.

Кроме того, наблюдение последовательностей шаблонов о состоянии и окружении автомобиля позволяет нашей модели эффективно экстраполировать в будущее, чтобы предсказывать отключение на семь секунд вперед. Заблаговременно оценка места происшествия автомобилем может быть абсолютно правильной, а это означает, что ее нельзя использовать для прогнозирования сложного сценария. С другой стороны, собранные необработанные данные могут уже содержать шаблоны, которые ранее приводили к сбоям, и поэтому позволяют заранее предсказать отключение.

Технические обзоры :Как система может определить «критический» сценарий на семь секунд раньше? Кроме того, когда происходит это обнаружение, что происходит дальше? Что водитель видит в машине и что делает машина?

Проф. Экехард Штайнбах :Ключ в том, чтобы наблюдать за последовательностями данных и искать временные закономерности. Рассматривая записанные данные за последние три секунды, наша модель способна обнаруживать закономерности, которые в конечном итоге превращаются в сценарий, в котором водитель-человек должен взять на себя управление. Если вы знаете, на что обращать внимание, вы можете заметить первые признаки сложной ситуации на много секунд вперед.

Наш метод достигает этого примерно в 85% случаев на семь секунд вперед. Остальные 15% ситуаций можно объяснить тем, что некоторые сложные сценарии развиваются за очень короткое время, например, пешеходы внезапно появляются из-за припаркованных автомобилей и приближаются к дороге. При обнаружении необходимо предупредить водителя.

Технические обзоры :Как предупреждается водитель?

Проф. Экехард Штайнбах :Реализация этого оповещения зависит от конкретного выбора человеко-машинного интерфейса, но водитель должен знать, что от него потребуется контроль над автомобилем в течение следующих семи секунд. Это время также позволяет автомобилю спланировать безопасный маневр остановки на случай, если водитель-человек не отреагирует на подсказку.

Технические обзоры :Как прошел твой тест-драйв? Какое самое впечатляющее обнаружение вы видели?

Проф. Экехард Штайнбах :Так как тест-драйвы проводились BMW Group, внутри машины я в них не участвовал. Позже наша группа работала с записями дисков. Наиболее впечатляющим элементом системы обнаружения является то, как часто происходит раннее предсказание. Во время обнаружения сценарий вождения все еще может казаться обычным, например, только для того, чтобы движение на следующем перекрестке превратилось в сложную, переполненную среду, где через несколько секунд человек взял на себя обеспечение безопасности.

Технические обзоры :Что все еще сложно обнаружить беспилотным автомобилям?

Проф. Экехард Штайнбах :Одной из важных проблем в автономном вождении являются новые или нераспространяемые данные. Если автомобиль попадает в ситуацию, для которой он не обучен, или видит незнакомый объект, могут возникнуть проблемы. Такие новые сцены вызывают вмешательство человека, что приводит к тому, что эти сцены используются в качестве обучающих данных для нашего подхода. Хотя наш метод может затем помочь обнаружить такую ​​новую сложную среду при следующем столкновении с ней, обнаружение и правильное управление совершенно новой сценой при первом столкновении с ней остается сложной задачей.

Что вы думаете? Поделитесь своими вопросами и комментариями ниже.