Системы наблюдения за водителями на основе технического зрения набирают обороты

Любой, кто считает системы наблюдения за водителями (DMS) ненужными или устаревшими, не обращает внимания на последние рыночные события, освещенные в EE Times . Эта технология, о которой мало что говорят, и ее недооценивают, особенно среди американских автопроизводителей и потребителей, наконец-то выходит на свет.

Я представил основной доклад DMS на недавнем EE Times мероприятие «Дорожная карта для EV&AV следующего поколения», и я использовал следующий слайд, чтобы показать эволюцию рынка передних камер ADAS как ссылку на возможности роста, которые ждут впереди DMS и системы мониторинга в салоне (ICMS).

щелкните, чтобы увидеть полноразмерное изображение

(Источник:Semicast Research)

На рынке фронтальных камер ADAS до сих пор доминирует Mobileye, с долей рынка, которая, по моим оценкам, составляет около 60%. Mobileye была приобретена Intel в рамках очень громкой сделки в 2017 году за 15,3 миллиарда долларов, но этот слайд демонстрирует скромное начало рынка фронтальных камер ADAS за десять лет до приобретения Intel.

Форма F-1, поданная Mobileye в 2014 году в Комиссию по ценным бумагам и биржам при подготовке к листингу на Нью-Йоркской фондовой бирже, теперь является историческим документом, но, тем не менее, чрезвычайно информативна для таких аналитиков, как я, которые ищут точные подробности прошлого как полезные. путеводители в будущее. Ниже приведен снимок экрана одной страницы, которая показалась мне особенно полезной.

щелкните, чтобы увидеть полноразмерное изображение

(Источник:данные SEC)

Это свидетельствует не только о том, насколько широко Mobileye уже наладила свои прямые отношения с автопроизводителями к 2014 году, но и с поставщиками первого уровня. Обратите внимание на то, что в списке поставщиков первого уровня компания Magna названа первой, и, как подчеркивается в этой статье от августа 2006 года, Magna была первой компанией, которая по-настоящему осознала важность возможностей, предоставляемых технологией прямой камеры ADAS, и привнесла свое инженерное мастерство в партнерство. с Mobileye.

Почему я пишу о событиях пятнадцатилетней давности? Читайте дальше, и я объясню значение недавнего объявления, которое было по большей части потеряно среди шумихи и раздумий на недавней конференции Nvidia по технологиям графических процессоров 2021 года.

Magna выходит на рынок зеркал OMS

Как показано на следующем слайде из Seeing Machines, рынок автомобильных систем внутреннего технического зрения развивается от систем наблюдения за водителями, использующих датчики изображения ближнего поля зрения (NFOV), до систем наблюдения за пассажирами (OMS), которые используют широкополосные системы наблюдения. датчики изображения (WFOV) для анализа всех пассажиров в кабине.

щелкните, чтобы увидеть полноразмерное изображение

(Источник:Seeing Machines)

В отличие от передней камеры ADAS, Magna и близко не была к тому, чтобы стать первой моделью, предлагающей DMS, уступив в серийном производстве Aptiv, Denso, Joyson, LG Electronics, Mitsubishi, Mobis и Veoneer. Тем не менее, Magna, похоже, собирается опередить своих конкурентов в области OMS, особенно в том, где оптические компоненты и связанная электроника интегрированы в решение системного уровня во внутреннем зеркале.

Я сделал снимок экрана одного кадра видео и представил его ниже, на котором показано разобранное зеркало и показана интеграция датчика изображения CMOS и печатной платы с инфракрасными светодиодными излучателями и процессором изображения. Это выдающееся инженерное достижение, которое особенно впечатляет очевидным отсутствием вентилятора для охлаждения процессора изображений.

Magna Mirror OMS (Источник:Magna)

Magna - не первая компания, демонстрирующая внутреннее зеркало со встроенными оптическими компонентами, как показывают следующие изображения внутренней камеры Continental (ICAM) и сенсорного зеркала Gentex в салоне. Однако, как и в случае с рынком передних камер ADAS, я считаю, что Magna теперь имеет преимущество первопроходца, предлагая автопроизводителям универсальное решение для зеркал OMS.

(Источник:Continental)

Внутреннее сенсорное зеркало Gentex (Источник:Gentex)

Хотя я не видел технических характеристик зеркала Magna OMS, я считаю, что оно, скорее всего, сочетает в себе датчик изображения CMOS от OmniVision (вероятно, 2-мегапиксельный OV2311), ПЛИС Xilinx (Zynq-7000 или UltraScale + MPSoC) для высокого разрешения. высокопроизводительная энергоэффективная обработка изображений с помощью программного обеспечения для мониторинга людей, предоставленного Seeing Machines.

Многие технические вопросы, связанные с мониторингом пассажиров и водителей, были подробно освещены в недавнем выпуске EE Times панельная дискуссия на эту тему, резюме которой можно прочитать здесь.

Как говорится в моем основном докладе, поставки DMS / OMS будут резко расти в течение этого десятилетия, поскольку консультативные органы, такие как Euro NCAP, и такие предписания, как Европейский общий регламент безопасности, предписывают автопроизводителям внедрять технологию, которая надежно отслеживает водителей на предмет отвлечения внимания, сонливости и нарушений. Это применимо даже к недорогим моделям для массового рынка и независимо от того, есть ли в автомобиле функция вождения без помощи рук, такая как GM SuperCruise или Ford BlueCruise, которые используют надежную систему управления видео на основе системы видения для точной оценки взаимодействия с водителем.

Размещение ИК-оптических компонентов внутри кабины - сложное, но важное решение для автопроизводителей и сложная инженерная задача для поставщиков первого уровня. Текущие реализации мониторинга водителя обычно видят датчик изображения, расположенный на рулевой колонке (Cadillac CT6), комбинации приборов (BMW X5) или на консоли центрального стека (Subaru Forester).

Самым простым, быстрым и экономичным местом для автопроизводителей для интеграции необходимых ИК-оптических компонентов и соответствующей электроники является внутреннее зеркало. Поскольку Euro NCAP намерен добавить тестирование DMS / OMS к своему 5-звездочному рейтингу безопасности в 2023 или 2024 годах, недавнее объявление Magna о полностью интегрированном внутреннем зеркале для наблюдения действительно имеет значение.

Tesla заново изобретает колесо [OMS]

В последнее время Tesla попала в заголовки газет, пытаясь изменить внутреннюю камеру, установленную в Model 3 и Model Y, для обеспечения функций мониторинга водителя и пассажиров. Мы можем увидеть больше в этом видео, в частности, насколько шумным является классификатор состояния драйвера и насколько легко систему можно подделать с помощью фотографии.

Мы могли бы вежливо охарактеризовать алгоритмы OMS Tesla как находящиеся на ранней стадии прототипа и, хотя они, вероятно, улучшатся по мере сбора данных автопарком, надежность системы в целях безопасности в конечном итоге будет ограничена отсутствием ИК-подсветки. Никакое беспроводное обновление не может преодолеть этот упущенный дизайн, что не позволяет датчику изображения работать в темноте, как показано в этом видео.

Теперь, когда Consumer Reports доказал, насколько легко победить монитор водителя на основе крутящего момента в автопилоте Tesla, другие автопроизводители, похоже, будут сотрудничать с поставщиками первого уровня, такими как Magna, и поставщиками программного обеспечения, такими как Seeing Machines, для интеграции надежных систем мониторинга водителя и пассажиров. которые приводят к значительному повышению безопасности дорожного движения, как показано в видео ниже.

Любая система безопасности, которую может обрушить апельсин, небезопасна. Смогут ли Илон Маск и Тесла смиренно признать, что они ошибались в отношении важности DMS и OMS? С Tesla все возможно, но в данном случае я не задерживаю дыхание. Для всех остальных внедрение надежных средств мониторинга водителей и пассажиров только начинается.

>> Эта статья изначально была опубликована на нашем дочернем сайте EE Times.

---

Колин Барнден является главным аналитиком Semicast Research и имеет более чем 25-летний опыт работы в качестве отраслевого аналитика. Он считается мировым экспертом по тенденциям рынка автомобильных систем наблюдения за водителями (DMS). Он имеет степень бакалавра английского языка. Имеет степень бакалавра электротехники и электроники в Астонском университете в Англии. На рынке автомобильной электроники работает с 1999 года.

---

Связанное содержание:

• Меняющееся лицо автомобильного программного обеспечения
• Решение проблем с подключением автомобильных камер.
• Разработчиков автомобильного программного обеспечения ждут несколько вариантов обновления OTA.
• Радар на кристалле с частотой 60 ГГц соответствует требованиям автомобильной промышленности.
• Эксперты ADAS думают об интеграции датчиков в автомобили будущего
• Эксперты ADAS думают об интеграции датчиков в автомобили будущего

Чтобы получить больше информации о Embedded, подпишитесь на еженедельную рассылку Embedded по электронной почте.