ИИ-система ТУМ предсказывает сбои беспилотных автомобилей за 7 секунд до их возникновения

Новая модель для беспилотных автомобилей учится на прошлых сбоях, обнаруживая их заранее, иногда до 7 секунд.

С автономными транспортными средствами, неизвестная или сложная ситуация вождения (как переполненное перекрестке) может вызвать отключение системы беспилотного вождения, либо через автоматические меры безопасности, либо через человеческое вмешательство.

Модель искусственного интеллекта от Технического университета Мюнхена (TUM) использует тысячи реальных трафиковых ситуаций — специально, записанные последовательности отключения с тестовых поездок — как обучающие данные для предсказания будущих сбоев.

Для предсказания сбоев как можно раньше, подход машинного обучения классифицирует последовательности сенсорных данных как сбой или успех.

Если система замечает новую ситуацию вождения, которую система контроля ранее не могла обработать, например, водитель будет предупрежден заранее о возможной критической ситуации.

TUM-разработанная технология безопасности использует сенсоры и камеры для захвата окружающих условий, таких как угол руля, дорожные условия, погода, видимость и скорость. ИИ-система, основанная на рекуррентной нейронной сети (RNN) и тысячах реальных трафиковых ситуаций, учится распознавать паттерны с данными.

Сам автомобиль рассматривается как черный ящик, сфокусированный только на входе данных и выходе данных. Система учится интроспективно от своих собственных предыдущих ошибок, согласно мюнхенской команде.

«Большое преимущество нашей технологии: мы полностью игнорируем, что думает машина. Вместо этого мы ограничиваем себя данными, основанными на том, что фактически происходит, и ищем паттерны», — сказал ведущий исследователь проф. Эккехард Стайнбах, который также является членом Совета директоров Мюнхенской школы робототехники и машинного интеллекта (MSRM) в TUM. «Таким образом, ИИ обнаруживает потенциально критические ситуации, которые модели могут не быть способны распознать или еще не открыли».

Система предлагает функцию безопасности, которая знает, когда и где у машин слабости, говорит Стайнбах.

Стайнбах и метод его команды комбинируют два вида сенсоров. Образ-базированная модель учится обнаруживать общие сложные ситуации, как оживленная городская улица. Дополнительная данных-базированная модель обнаруживает быстрые изменения непосредственно перед сбоем, такие как внезапное торможение или уход вбок. Результат индивидуальных моделей сливается усреднением индивидуальных вероятностей сбоя.

Группа BMW оценила «интроспективный подход предсказания сбоев» через 14 часов автономного вождения на публичных дорогах, анализируя около 2500 ситуаций, где водитель должен был вмешаться.

Согласно исследованию, выпущенному в декабре 2020 года, поздний фьюжн-подход позволяет предсказывать сбои с точностью лучше 85 процентов — до семи секунд до их возникновения, и при ложноположительном уровне 20%.

В коротком интервью с Tech Briefs ниже Стайнбах говорит о сильных сторонах черноящик-подхода, а также ограничениях сегодняшних мер безопасности транспортных средств.

Tech Briefs: Я думаю, это интересная идея: «Мы полностью игнорируем, что думает машина. Вместо этого мы ограничиваем себя данными, основанными на том, что фактически происходит и ищем паттерны». Каковы некоторые примеры паттернов, которые модель может не распознать?

Проф. Эккехард Стайнбах: В нашей работе мы смотрим на состояние машины, такое как торможение и рулевое управление, а также на изображения камеры, которые машина получает для обнаружения паттернов, ведущих к отключениям. Хотя это позволяет нашей модели обнаруживать большой процент ситуаций, где человек должен взять управление, не вся информация о вождении сцены захватывается в этих данных.

Как простой пример, паттерн повторяющегося торможения может быть обычным вождением в теплую погоду, но может указывать на грядущее отключение, если дороги ледяные и скользкие. Если изображения камеры не захватывают эту информацию об окружении, этот паттерн не может быть использован для различения обычного и прерванного вождения. Хотя информация камеры обычно достаточно для оценки условий дороги, такие паттерны все еще могут быть трудны для распознавания.

Больше о беспилотных автомобилях

Смотрите на Tech Briefs TV: Мичиган разрабатывает первый в своем роде коридор для подключенных и автономных транспортных средств.

В блоге: Опрос экспертов исследует вопрос: Как автономные системы повлияют на природу?

Tech Briefs: Почему это преимущество «игнорировать, что думает машина?»

Проф. Эккехард Стайнбах: Если машина оценивает ситуацию полностью правильно, не было бы необходимости для водителя вмешиваться. Однако чрезмерная уверенность — значительная проблема многих моделей, используемых в автономном вождении. Записывая и учась от этих ситуаций, мы можем научиться обнаруживать, если новая ситуация проблематична, даже если машина чрезмерно уверена в ней.

Дополнительно, наблюдение паттернов последовательностей о состоянии и окружении машины позволяет нашей модели эффективно экстраполировать в будущее для предсказания отключений до семи секунд вперед. Это рано заранее, оценка машины сцены может все еще быть полностью правильной, означая, что она не могла быть использована для предсказания сложного сценария. Сырые собранные данные, с другой стороны, могут уже содержать паттерны, которые привели к сбоям раньше и поэтому позволяют предсказать отключения заранее.

Tech Briefs: Как система способна определить «критический» сценарий, семь секунд заранее? Также, когда это обнаружение происходит, что происходит дальше? Что видит водитель в машине, и что делает машина?

Проф. Эккехард Стайнбах: Ключ — наблюдать последовательности данных и искать временные паттерны. Рассматривая последние три секунды записанных данных, наша модель способна обнаружить паттерны, которые в конечном счете эволюционируют в сценарий, где человеческий водитель должен взять управление. Если вы знаете, что искать, вы можете заметить первые признаки сложной ситуации за много секунд.

Наш метод достигает этого около 85% времени семь секунд заранее. Оставшиеся 15% ситуаций могут быть объяснены тем фактом, что некоторые сложные сценарии развиваются в очень короткое время, такие как пешеходы, внезапно выходящие из между припаркованных машин и приближающиеся к дороге. Когда обнаружение происходит, водитель должен быть предупрежден.

Tech Briefs: Как водитель предупреждается?

Проф. Эккехард Стайнбах: Реализация этого алерта зависит от конкретного выбора человеко-машинного интерфейса, но водитель должен знать, что их контроль машины будет требуем в ближайшие семь секунд. Это время также позволяет машине планировать безопасную маневру остановки в случае, если человеческий водитель не реагирует на подсказку.

Tech Briefs: Как прошли ваши тест-драйвы? Какое самое впечатляющее обнаружение вы видели?

Проф. Эккехард Стайнбах: Поскольку тест-драйвы выполнялись группой BMW, я не участвовал в них внутри машины. Наша группа позже работала с записями поездок. Самый впечатляющий элемент системы обнаружения — насколько рано предсказание часто происходит. В момент обнаружения вождение сценария может все еще казаться регулярным, например, только для трафика на следующем перекрестке превратиться в сложную, переполненную среду, где человек взял управление, чтобы обеспечить безопасность через несколько секунд позже.

Tech Briefs: Что все еще сложно для беспилотных автомобилей обнаружить?

Проф. Эккехард Стайнбах: Одна важная проблема в автономном вождении — новые или out-of-distribution данные. Если машина входит в ситуацию, для которой она не обучена, или видит объект, который она не знает, проблемы могут возникнуть. Такие новые сцены вызывают человеческое вмешательство, которое приводит к тому, что эти сцены используются как обучающие данные для нашего подхода. Хотя наш метод может тогда помочь обнаружить такую новую сложную среду в следующий раз, когда она встречается, обнаружение и правильное управление полностью новой сценой в первый раз, когда она встречается, остается сложной задачей.

Что вы думаете? Делитесь вопросами и комментариями ниже.