Как сенсорные системы определяют функциональность ADAS

Чтобы узнать последнюю информацию о датчиках для автоматизированных систем вождения, я собеседовал Альберто Мариони, директора по маркетингу продуктов TDK/Invensense (Сан-Хосе, КА).

Обычно используемый термин «Передовые системы помощи водителю» (ADAS) по сути относится к уровню SAE 2 (L2), Частичная автоматизация вождения. На этом уровне водитель должен быть в машине и должен быть бдителен — он не может, например, читать книгу — для этого потребовался бы уровень 3 или выше. (Высший уровень — 5 — полностью автоматизированный автомобиль, которому вообще не нужен человек в автомобиле).

На уровне 2 автомобиль может автоматически управляться продольно (ускорение/замедление) или поперечно (рулевое управление), в зависимости от приложения. Однако водитель должен быть присутствовать, держать глаза на дороге и быть бдительным, чтобы взять контроль, если нужно. В отличие от этого, уровень 1 может делать автоматическое торможение/ускорение ИЛИ поперечное рулевое управление, но не оба одновременно.

Для L2 есть множество датчиков, включая камеры, радар и инерциальные измерительные блоки (IMU). Также включается глобальная навигационная спутниковая система (GNSS), такая как GPS.

Для определенных приложений L2, хотя не большинства, лидар также доступен, хотя это в основном для уровня 3. Он не всегда включается в L2 из-за своей высокой стоимости относительно других технологий. Мариони объяснил, что радар — дальний детектор — его использование для обнаружения препятствий на расстоянии — чтобы предупредить машину, что что-то присутствует перед ней. Лидар добавляет в микс автоматизации детальное распознавание объектов ближе к машине. Он также может сканировать окружение для получения информации о непосредственном окружении. Эта информация может быть геореференцирована относительно Земли для точного определения абсолютной позиции машины с помощью инерциальной навигационной системы (INS), состоящей из IMU и GNSS. 3D-карта может быть построена для точного позиционирования объектов путем объединения информации об абсолютной позиции от INS и изображения относительного окружения на основе лидара.

Инерциальный измерительный блок (IMU)

IMU TDK/InvenSense имеет два MEMS-компонента в одном корпусе: 3-осевой акселерометр и 3-осевой гироскоп. Акселерометр чувствителен как к статическим (например, гравитации), так и к динамическим ускорениям во всех трех осях и может использоваться для определения угла наклона IMU. Гироскоп в основном используется для динамических условий, когда есть угловая скорость в дополнение к гравитации. Выходы этих двух датчиков комбинируются математически для определения ориентации системы.

Общий тренд сегодня — размещать IMU рядом с каждым датчиком для повышения точности обнаружения.

Ускорение/Замедление

По словам Мариони, самые важные функции замедления — экстренное торможение и избегание столкновений. Для этих приложений датчики, такие как радар, сканируют переднюю часть машины, ища объект или человека. Данные сканирования отправляются в центральный процессорный блок, который может решить, нужно ли машине остановиться. Если да, он выдает сигнал к актуаторам, которые действуют так же, как водитель, нажимая на педаль тормоза, чтобы остановить машину до аварии.

IMU играет важную роль здесь. Радарный датчик обычно монтируется в бампере машины и может работать идеально, если он параллелен улице. Однако, если по какой-то причине бампер деформирован, радарная информация будет ненадежной. IMU, смонтированный рядом с радарным датчиком, может динамически мониторить наклон для предоставления корректирующей информации. Та же концепция применяется к камерным модулям.

Рулевое управление

В современных автомобилях есть множественные камеры, 10 или больше, для ADAS. Однако, так как есть много вибрации при вождении, изображение, захваченное камерным модулем, может быть размытым. Если поставить IMU рядом с каждой камерой, можно легко измерить вибрацию, приложенную к камере в точный момент, когда она делает снимок. С этой информацией можно стабилизировать изображение и убрать шум для четкого вида.

Типичное камерное приложение — активное помощь в удержании полосы. Для этого обычно есть камера рядом с зеркалом заднего вида, используемая для обнаружения линий разметки и выполнения обработки изображения. Качество изображения важно для этого приложения, потому что нужно распознать линию и то, переходит ли машина её. Монтируя IMU рядом с камерой для стабилизации, вы производите более четкое изображение, что снижает вычислительную нагрузку на центральный процессор. Для некоторых приложений удержания полосы водитель предупреждается, чтобы он мог взять контроль рулевого управления, чтобы остаться на траектории. Есть другие приложения, где эта информация используется машиной для прямого управления рулевым управлением, чтобы автоматически держать её в полосе.

Сенсорный фьюжн

Я затем спросил Мариони о роли сенсорного фьюжна в ADAS. Он объяснил, что это алгоритм, способный комбинировать информацию, поступающую от множественных датчиков, для предоставления выхода, который лучше, чем сумма каждого отдельного датчика.

Пример — INS, в которой GNSS получает информацию от спутника для определения абсолютного местоположения автомобиля. Однако есть условия, при которых GNSS-информация ненадежна, например, в тоннеле, в городском каньоне или в многоуровневом паркинге. Вы бы поэтому нуждались в IMU рядом с GNSS для расчета позиции системы, когда GNSS недоступен. Алгоритм сенсорного фьюжна, работающий в модуле GNSS, комбинировал бы информацию от IMU и GNSS для генерации позиции, надежной при всех условиях. Это оптимизирует систему, потому что IMU и GNSS дополняют друг друга из-за их соответствующих сильных и слабых сторон. Алгоритм фьюжна сохраняет информацию от IMU, когда GNSS ненадежен, и использует информацию от GNSS-системы, когда машина в открытом небе. Когда есть хороший GNSS-сигнал, алгоритм фьюжна также позволяет GNSS-данным калибровать IMU на те времена, когда GNSS недоступен.

Мертвая навигация (Dead Reckoning)

Когда GNSS-сигнал недоступен, IMU навигирует с мертвой навигацией, начиная с последней полученной абсолютной позиции. В этот момент он начинает интегрировать информацию гироскопа во времени, чтобы обновлять позицию. Если есть хорошая гироскопная информация и хорошее тайминг, у вас хорошие результаты. Если, однако, выход гироскопа хорош, но тайминг нет, у вас плохие результаты. Если оба плохие — полностью плохие результаты. Поскольку вы интегрируете, ошибка накапливается и через определенное время результаты мертвой навигации могут стать неприемлемыми.

Если вы едете через тоннель или в городе, где GNSS-сигнал плохой достаточно долго, мертвая навигация на базе IMU не была бы надежной. При таких условиях это было бы на усмотрение автопроизводителя. Они могли бы инициировать предупреждение водителя; если водитель не реагирует на предупреждение, второе предупреждение может быть сгенерировано. Если то тоже игнорируется, то ADAS может взять контроль и снизить скорость — но не остановить машину, что было бы опасно. Одно дополнительное действие — сгенерировать вызов, например, к OnStar, чтобы проверить, в безопасности ли водитель. Есть множество способов управлять ситуацией.

Надежность системы ADAS

Надежность самой системы ADAS очевидно критична. Целостность данных должна гарантироваться при всех условиях. По словам Мариони, 6-осевые IMU TDK/Invensense для ADAS включают встроенную диагностику, разработанную для систем, соответствующих требованиям до уровня автомобильной целостности безопасности (ASIL) B. Если связь с центральным блоком ненадежна, например, она может генерировать тревогу для предупреждения водителя. Встроенный чип безопасности включает механизм, который непрерывно проверяет функциональность всех блоков системы. Если компонент обнаруживает неисправность в акселерометре, гироскопе, цифровой логике или в шине связи, он посылает тревогу системе, говоря, чтобы она знала, что что-то пошло не так и информация от датчика больше не надежна. Самостоятельная диагностика обязательна в автомобильных приложениях безопасности, особенно если вы контролируете скорость, торможение или рулевое управление. Эти проблемы адресуются в спецификации ASIL. Однако, даже если это не для приложения уровня 2, система, такая как электронная стабилизация, тоже должна быть 100% надежной.

Где мы сейчас и куда идем?

Я спросил Мариони, где он видит эту технологию сейчас и чего ждать в будущем. «В данный момент уровень 2 — реальность — он уже на улице», — сказал он. «Но он растет прямо сейчас в том смысле, что мы ожидаем роста объемов IMU от сейчас до 2030 года, от менее 10 миллионов автомобилей до более 40 миллионов». Для следующего шага, уровня 3, главное изменение, вероятно, будет введением новых технологий, таких как лидар. «С точки зрения нашего IMU, мы уже готовы для приложений L3, благодаря нашей 6-осевой интеграции», — сказал он.

Он продолжил, что следующая точка инноваций в этой области может быть снижением энергопотребления. Некоторые приложения ADAS должны быть включены даже когда двигатель выключен. По этой причине энергопотребление каждого компонента в приложении считается. В прошлом, когда приложения работали только если двигатель был включен, это не было проблемой. Но сейчас производители меняют свои спецификации, чтобы включить энергопотребление.

И последнее, но не менее важное, так как интеграция мертвой навигации затронута накопленной ошибкой со временем, другая важная точка, особенно с беспилотными автомобилями, — дальнейшее снижение шума компонента, для улучшения производительности датчика, для реализации более длинной интеграции мертвой навигации, сохраняя общую ошибку под контролем.

Я затем спросил Мариони, когда он думает, что уровень 3 может выйти на улицы. Его предположение — что мы не увидим много движения на рынке L3 до 2025 года.

«Еще одна важная тема, хотя не основанная на теории — это больше эмпирическое правило — для систем L2 двух параллельных технологий достаточно. Для систем L3, чтобы гарантировать точность, стабильность и производительность, нужно комбинировать минимум три технологии, и скорее всего для L4 нужно четыре. Это должно дать вам представление о сложности гарантирования производительности и безопасности», — сказал он. Это создаст большие требования к необходимым алгоритмам и вычислительным ресурсам. Вот где 5G, вероятно, войдет в игру, чтобы позволить перенести большую часть вычислений в облако. Конечно, это открывает дверь для возможного взлома.

Статью написал Эд Браун, редактор Sensor Technology. Для дополнительной информации посетите здесь.