Раскрытие ценности AI с немаркированными данными: как Hologram стресс-тестирует автономное восприятие

Данные — кровь разработки автономных транспортных средств (AV), питающая модели глубокого обучения, позволяющие самоуправляющиеся системы.

Чтобы оставаться конкурентоспособными, вендоры AV регистрируют миллионы миль на публичных дорогах, сохраняя петабайты сырого видео. Waymo, например, преодолела 10 миллионов реальных миль и 10 миллиардов смоделированных миль записанных данных.

Однако индустрия редко задает критический вопрос: какая часть этого огромного архива действительно размечена, и насколько точны эти разметки?

Фил Купман, сооснователь и CTO Edge Case Research, предупредил в недавнем интервью EE Times, что «никто не может позволить себе разметить все это».

Маркировка данных — и времязатратна, и дорога

Аннотация требует экспертных человеческих рецензентов, чтобы смотреть короткие видеоклипы и рисовать ограничивающие рамки вокруг каждого транспортного средства, пешехода, знака и светофора, релевантных для алгоритма автономного вождения. Процесс трудоемок и дорог.

Статья на Medium «Data Annotation: The Billion Dollar Business Behind AI Breakthroughs» подчеркивает подъем управляемых сервисов разметки, доставляющих доменно-специфические, высококачественные датасеты. Статья отмечает, что некоторые стартапы самоуправляемых автомобилей платят этим фирмам до миллионов долларов в месяц.

IEEE Spectrum сообщил, что Кэрол Райли, сооснователь и президент Drive.ai, сказала: «Тысячи людей рисуют рамки вокруг объектов. На каждый час вождения требуется примерно 800 человеко-часов для разметки». Эти команды борются, чтобы удержать темп с притоком данных.

Компании вроде Drive.ai исследуют ассистенты разметки на базе глубокого обучения для ускорения утомительного процесса разметки.

Использование немаркированных данных

Купман считает, что есть альтернатива разметке петабайт видео: использование самих данных. Edge Case Research разработала «Hologram» — систему стресс-тестирования AI восприятия и анализа рисков, разработанную для ускорения разработки ПО восприятия без исчерпывающей аннотации.

Hologram обрабатывает то же немаркированное видео дважды. Сначала он прогоняет видео через базовый движок восприятия. Затем он повторно обрабатывает клип с тонким шумовым возмущением, создавая «стрессовый» сценарий. Шум раскрывает скрытые слабости в границах решений AI.

Пока человек может увидеть размытый объект и колебаться, AI может либо полностью его пропустить, либо ошибочно классифицировать. Раскрывая такие сбои, Hologram помогает разработчикам точно определить условия, вызывающие неправильное поведение.

Поскольку система работает на немаркированных данных, она обходит бутылочное горлышко разметки, предоставляя действенные инсайты. Hologram помечает проблемные сцены цветными полосами: оранжевый указывает на ближний промах, предлагающий переобучение, а красный отмечает полный провал, приглашающий к глубокому расследованию триггеров, таких как фоновый шум или плохой контраст.

Купман подчеркнул, что «секретные соусы» Hologram — передовая инженерия и проприетарные алгоритмы — позволяют ему выявлять только самые критические аномалии, делая человеческий обзор гораздо более эффективным.

Он также предупредил, что публично доступные датасеты, используемые Hologram, ограничены исследовательским сообществом и должны сочетаться с тем же движком восприятия, который генерировал данные, для значимого анализа.

Визуализация влияния Hologram

Движок Hologram подсвечивает, где система восприятия не обнаруживает знак остановки, раскрывая триггерные условия, такие как шумный фон. (Источник: Edge Case Research)

Интерфейс Hologram отмечает ближние промахи оранжевыми полосами, побуждая к переобучению алгоритма, и красными полосами, сигнализирующими о полном провале обнаружения, позволяя дизайнерам проследить причины, такие как близость к столбу или низкий контраст.

Hologram помогает дизайнерам AV раскрыть граничные случаи, где ПО восприятия ведет себя странно, потенциально ставя под угрозу безопасность. (Источник: Edge Case Research)

Стратегическое партнерство с Ansys

Ansys недавно объявила о сотрудничестве с Edge Case Research для встраивания Hologram в свою платформу симуляции. Цель — построить первую в отрасли комплексную симуляционную трубу для разработки автономных транспортных средств. Ansys также работает с BMW, который стремится доставить свой первый AV к 2021 году.

ANSYS и BMW создают цепочку инструментов симуляции для автономного вождения. (Источник: Ansys)

— Джунко Ёсида, глобальный со-редактор-в-шеф, AspenCore Media, главный международный корреспондент, EE Times

>> Эта статья была первоначально опубликована на нашем партнерском сайте EE Times: «Использование немаркированных данных, чтобы увидеть, не просто ли AI притворяется».