Выжимание значения из данных для AI

Данные - это все - во многих отношениях это единственное - для поставщиков автономных транспортных средств (АВ), которые полагаются на глубокое обучение как на ключ к автономному вождению.

Данные - это причина, по которой AV-компании накапливают мили и мили опыта тестирования на дорогах общего пользования, записывая и накапливая петабайты дорожной информации. Например, в июле компания Waymo заявила о пробеге более 10 миллионов миль в реальном мире и 10 миллиардов миль в моделировании.

Но вот еще один вопрос, который индустрия не любит задавать:

Предположим, что AV-компании уже собрали петабайты или даже эксабайты данных о реальных дорогах. Какая часть этого набора данных помечена? Возможно, еще важнее, насколько точны аннотированные данные?

В недавнем интервью EE Times Фил Купман, соучредитель и технический директор Edge Case Research, заявил, что «никто не может позволить себе маркировать все это».

Маркировка данных:отнимает много времени и дорого

Аннотации обычно требуют, чтобы опытные человеческие глаза просмотрели короткий видеоклип, а затем нарисовали и пометили поля вокруг каждого автомобиля, пешехода, дорожного знака, светофора или любого другого объекта, который может иметь отношение к алгоритму автономного вождения. Этот процесс не только трудоемкий, но и очень дорогостоящий.

Недавняя статья на Medium под названием «Аннотация к данным:бизнес на миллиард долларов за прорывом в области ИИ» иллюстрирует быстрое появление «услуг по маркировке управляемых данных», предназначенных для доставки данных с привязкой к предметной области с упором на контроль качества. В истории отмечено:

Помимо своих собственных бригад по маркировке данных, технические компании и стартапы, занимающиеся самоуправлением, также в значительной степени полагаются на эти услуги управляемой маркировки ... некоторые компании, занимающиеся самоуправлением, платят компании, занимающиеся маркировкой данных, зарабатывают более миллионов долларов в месяц.

В другом сообщении от IEEE Spectrum несколько лет назад процитировали Кэрол Рейли, соучредителя и президента Drive.ai:

Тысячи людей маркируют коробки вокруг вещей. На каждый час работы требуется около 800 человеко-часов для маркировки. Все эти команды будут бороться. Мы уже на порядок быстрее и постоянно оптимизируем.

Некоторые компании, такие как Drive, используют глубокое обучение для улучшения автоматизации аннотирования данных, чтобы ускорить утомительный процесс маркировки данных.

Давайте использовать немаркированные данные

Однако Купман считает, что есть еще один способ «выжать ценность из накопленных данных». Как насчет того, чтобы сделать это «без маркировки большей части петабайт записанных данных?»

Он объяснил, что Edge Case Research «наткнулась» на это, когда разрабатывала способ позволить индустрии AV ускорить разработку программного обеспечения для более безопасного восприятия. Edge Case Research называет это «голограммой», что по сути является «системой стресс-тестирования восприятия ИИ и анализа рисков», разработанной для AV.

В частности, как объяснил Купман, «голограмма использует немаркированные данные», и система дважды обрабатывает одни и те же немаркированные данные.

Во-первых, он обрабатывает базовые немаркированные данные на стандартном механизме восприятия. Затем, с теми же данными без метки, применяется голограмма, добавляя очень небольшое возмущение - шум. Оказывается, нагружая систему, голограмма может выявить потенциальную слабость восприятия в алгоритмах ИИ.

Например, если к видеоклипу добавить немного зернистости, человек может подумать, что «там что-то есть, но я не знаю, что это».

Но управляемая ИИ система восприятия, подвергшаяся стрессу, может либо полностью пропустить неизвестный объект, либо перебросить его через порог и поместить в другую корзину для классификации.

Когда ИИ все еще учится, полезно знать уровень его уверенности (поскольку он определяет, что он видит). Но когда ИИ применяется в мире, уровень уверенности мало что говорит нам. ИИ часто «угадывает» или просто «предполагает».

Другими словами, ИИ притворяется.

Голограмма по своей природе может «проткнуть» программу восприятия, управляемую ИИ. Он показывает, где произошла ошибка системы ИИ. Например, стрессовая система решает свою проблему, загадочным образом заставляя объект исчезать со сцены.

Возможно, что более интересно, Голограмма также может идентифицировать в условиях шума, где ИИ «почти потерпел неудачу», но угадал правильно. Голограмма показывает области в видеоклипе, где система, управляемая искусственным интеллектом, в противном случае «могла бы потерпеть неудачу», - сказал Купман.

По словам Купмана, не маркируя петабайты данных, но выполняя их дважды, Hologram может предоставить подсказку, где все выглядит «подозрительно», и области, где «вам лучше вернуться и посмотреть еще раз», собрав больше данных или проведя дополнительное обучение, - сказал Купман. .

Это, конечно, очень упрощенная версия голограммы, потому что сам инструмент на самом деле «поставляется с множеством секретных соусов, подкрепленных тоннами инженерной мысли», - сказал Купман. Но если Голограмма может сказать пользователям «только те хорошие части», которые заслуживают рассмотрения человеком, это может привести к очень эффективному способу получения реальной ценности из текущих заблокированных данных.

«Машины потрясающе хороши в игре», - отметил Купман. Или «делать такие вещи, как p-hacking». P-hacking - это тип предвзятости, который возникает, когда исследователи собирают или отбирают данные или статистический анализ до тех пор, пока незначительные результаты не станут значимыми. Например, машины могут находить корреляции в данных там, где их нет.

Набор данных с открытым исходным кодом

На вопрос, является ли это хорошей новостью для Edge Case Research, Купман сказал:«К сожалению, эти наборы данных доступны только для исследовательского сообщества. Не для коммерческого использования ».

Кроме того, даже если вы используете такой набор данных для запуска Hologram, вам следует использовать тот же механизм восприятия, который используется для сбора данных, чтобы понять слабые места в своей системе искусственного интеллекта.

Снимок экрана голограммы

Ниже приведен снимок экрана, показывающий, как работает последняя коммерческая версия Hologram.

Механизм голограммы находит случаи, когда система восприятия не может идентифицировать этот знак остановки, и предоставляет аналитикам мощные инструменты для обнаружения условий срабатывания, таких как шумный фон. (Источник:Edge Case Research)

Добавляя шум, Голограмма ищет условия срабатывания, из-за которых система ИИ почти пропустила знак остановки (оранжевые полосы) или полностью не смогла распознать знак остановки (красные полосы вниз).

Оранжевые полосы предупреждают разработчиков ИИ о конкретных областях, требующих переобучения алгоритма AL, путем сбора дополнительных данных. Красные полосы позволяют разработчикам ИИ исследовать и предполагать условия срабатывания:что заставило ИИ пропустить знак остановки? Знак был слишком близко к столбу? Был ли фон шумным или недостаточно заметным контрастом? «Когда накопится достаточно примеров условий запуска, можно будет идентифицировать конкретные триггеры», - объяснил Эбен Майерс, менеджер по продукту Edge Case Research.

Голограмма помогает разработчикам AV найти крайние случаи, когда их программное обеспечение восприятия демонстрирует странное, потенциально опасное поведение. (Источник:Edge Case Research)

Партнерство с Ansys

Ранее на этой неделе Ansys объявила о партнерском соглашении с Edge Case Research. ANSYS планирует интегрировать Hologram в свое программное обеспечение для моделирования. Ansys рассматривает интеграцию как важнейший базовый компонент для разработки «первой в отрасли цепочки комплексных инструментов моделирования для разработки AV». Ansys сотрудничает с BMW, которая пообещала выпустить свой первый AV в 2021 году.

ANSYS и BMW создают цепочку инструментов моделирования для автономного вождения (Источник:Ansys)

- Джунко Йошида, главный соредактор по всему миру, AspenCore Media, главный международный корреспондент, EE Times

10 факторов для поиска идеального переключателя для вашего приложения Энергосберегающие компоненты повышают энергоэффективность в промышленности