Мозг автономного авто: как ИИ управляет современными транспортными средствами

Автономные авто (AV) и ADAS полагаются на данные множества сенсоров — камеры, лидар, радар, иногда сонар. Обработка потоков данных — огромная и критическая задача. Все данные должны превращаться в информацию в реальном времени для безопасного вождения не хуже идеального водителя. «На дороге водители оценивают окружение, взаимодействуют с другими, принимают решения. AV должны воспринимать, взаимодействовать, решать. И строить хорошие отношения с пассажирами».

Действие ИИ

Функции опираются на ИИ для ассимиляции данных разных сенсоров и их объединения в мгновенную картину авто и динамической среды — сенсорный фьюжн. Оптимально для авто — глубокие нейросети (DNN). Моделируют обработку информации человеческим мозгом, обучаются на опыте, а не по жестким правилам программиста. DNN принимает множественные входы, присваивает веса, делает выводы. Нужен сверхпроизводительный, но энергоэффективный вычислительный плаформу для реального времени. Ускоряется обработкой-ускорителем.

Интервью с Гилом Абрагамом (CEVA)

CEVA Vision и AI Business Unit — три столпа: NeuPro-M (ИИ-процессор), SensPro (высокопроизводительный сенсорный хаб DSP), CDNN-Invite ПО. CDNN-Invite позволяет производителям вводить свои проприетарные DNN-ускорители для совместной работы с NeuPro-M и SensPro в единой системе под управлением общей памяти и SDK.

SensPro DSP обрабатывает сигналы от множества сенсоров: лидары, радары, камеры и свертывает их — сенсорный фьюжн, критичный для авто, так как у каждого сенсора свои ограничения.

• Камеры: высокое разрешение, мелкие детали. Нужно несколько для слепых зон, обзора, нескольких фронтальных с разными фокусами. Каждый — отдельный поток. Не работают ночью или против солнца.
• Радар: работает ночью, дает дальность. Недостаточно разрешения для точной локализации или разделения близких объектов. Пропускает статичные/медленные объекты. Не видит «семантику» сцены: цвет, форму — нужны камеры.
• Лидар: свой источник света — работает днем и ночью. Быстрые точные измерения с высоким разрешением для free-space детекции и трекинга множества объектов. Но нужно 5–6 дорогих устройств на авто.

SensPro принимает данные от этих, а также ToF-сенсоров, IMU, эффективно обрабатывает SLAM-алгоритмы, создавая «контекстное осознание» — полную картину авто и среды. Можно добавить выделенный набор инструкций в железо для ускорения специфических задач.

Интеграция системы

NeuPro-M решает ключевые вызовы AV: высокая скорость, низкая латентность, масштабируемость, низкое потребление, высокая безопасность, соответствие ISO 26262. Масштабируемо: от единичных сенсоров до кластеров в зоне или встраивание в ECU авто.

Архитектура высокопроизводительной автоплатформы ИИ

Функция NeuPro-M — высокоуровневые решения вождения на основе DNN-входов: встречные авто, держание полосы, абсолютная локация (SLAM). NeuPro-M — решает, какие действия предпринять. ИИ требует миллионы вычислений в реальном времени. Мощный процессор + минимизация потребления. Метрика: TOPS/ватт — выше лучше. NeuPro-M — 24 TOPS/ватт, значительно выше конкурентов.

Безопасность — главное. ИИ-процессор — водитель за рулем. Веса нейросетей уязвимы для вредоносного вмешательства. Системы безопасности интегрированы в процессор.

Оптимизация производительности

Бутылочное горлышко: пропускная способность памяти. Вычислительные блоки быстрее, чем загрузка/выгрузка огромных данных. Решение: непрерывный поток данных к процессору вместо ожидания накопления. Адаптивность: модульная адаптивная топология. Топологии процессора оптимизируются под типы сенсоров и операции. Пример: оптимизация эффективности трансмиссии (много математики) vs обработка одного сенсора. Плавающая точка для высокой точности (SLAM), фиксированная — для остального. Сжатие данных для снижения трафика. Программные фиксы + глубокий дайв в оптимизацию DSP и ИИ-процессора.

Параллельная обработка

NeuPro-M (NPM) имеет три части (Рис. 2): мастер-контроллер, NPM common subsystem, NPM engine. 1–8 движков, выбор под приложение. «Так получаете больше лошадиных сил», — Абрагам.

Common subsystem в постоянной связи с engine — мониторинг канала против бутылочного горлышка. Инференс ИИ на двух датасетах: данные (изображение) и веса. Common subsystem держит канал открытым, сжимая и данные, и веса.

Параллелизм: несколько движков + внутри каждого — 5 копроцессоров с общей внутренней памятью.

Пример: управление авто 4-двигательным NPM

Рис. 3: простое автоприложение параллельной обработки. Лево — изображение дороги с фронтальной камеры. Процессор маскирует встречную полосу, упрощая вычисления для удержания центра, сохраняет в память. Изображение из памяти в NPM common subsystem (4 движка). ПО решает use case, как разбить изображение для макс. производительности/мин. мощности. NPM делит на 4 части с перекрытием, каждая — своему движку. ИИ-инференс на каждом сегменте. 4 сегмента стыкуются в память подсистемы → выход на слой восприятия в SoC для задач.

Иллюстрирует два уровня параллелизма: 4 движка над сегментами + внутри каждого — 5 копроцессоров.

Оптимизация через ПО

ИИ работает через свертку — мат. операция над двумя функциями, дающая третью. Математик Шмуэль Виноград придумал метод свертки за половину шагов. CEVA реализовала в процессорах: та же точность, ~2x ускорение — прирост производительности со снижением мощности. В каждом из 5 копроцессоров движка.

Другой трюк: разная арифметика для разных типов данных. SLAM — высокая точность → плавающая точка. Для других — фиксированная. Производитель выбирает оптимальный метод для каждой функции.

Программная манипуляция + железная оптимизация = до 16x ускорения на NeuPro-M.

Резюме

Обзор внутренней работы ИИ-процессора, обрабатывающего данные радара, лидара, сонара, камер и принимающего решения. NPM — гетерогенный процессор: работает с разными типами данных, оптимизирует TOPS/ватт двумя уровнями параллелизма и целевым дизайном ПО.

Автор: Эд Браун, редактор Sensor Technology. Контакт: email или здесь.