Умные камеры учатся понимать свой визуальный мир: ИИ на пиксельном уровне

Проблема: разделение сенсоров и процессоров создаёт избыток данных

Робототехники и исследователи ИИ знают, что в текущих системах чувствования и обработки мира есть проблема. Сейчас они всё ещё комбинируют сенсоры — цифровые камеры, спроектированные для записи изображений — с вычислительными устройствами вроде графических процессоров (GPU), спроектированных для ускорения графики видеоигр.

Это означает, что ИИ системы воспринимают мир только после записи и передачи визуальной информации между сенсорами и процессорами. Но многие вещи, которые можно увидеть, часто нерелевантны для задачи — например, детали листьев на деревьях у дороги, когда автономный автомобиль проезжает мимо. В данный момент вся эта информация захватывается сенсорами в изощрённой детали и отправляется, забивая систему нерелевантными данными, потребляя энергию и время обработки.

Вдохновение природы: глаза и мозг работают вместе

Исследователи заимствовали вдохновение у того, как естественные системы обрабатывают визуальный мир — человеческие глаза и мозг работают вместе, чтобы понять мир, и в некоторых случаях сами глаза выполняют обработку, помогая мозгу отсеять нерелевантное. Исследователи реализовали свёрточные нейронные сети (CNN), форму ИИ алгоритма для обеспечения визуального понимания, непосредственно на плоскости изображения. CNN могут классифицировать кадры тысячами раз в секунду без необходимости записывать эти изображения или отправлять их по конвейеру обработки. Исследователи рассмотрели демонстрации классификации рукописных цифр, жестов рук и даже планктона.

Будущее: интеллектуальные выделенные ИИ-камеры

Исследование предполагает будущее с интеллектуальными выделенными ИИ-камерами — визуальными системами, которые могут просто отправлять высокоуровневую информацию остальной системе, такую как тип объекта или события, происходящего перед камерой. Этот подход сделает системы намного более эффективными и безопасными, так как никакие изображения не нужно записывать.

Архитектура SCAMP: процессор в каждом пикселе

Работа включает SCAMP — камеру-процессорный чип, который команда описывает как массив процессоров пикселей (PPA). PPA имеет процессор, встроенный в каждый пиксель, который может общаться с другими для обработки в истинно параллельной форме. Это идеально для CNN и алгоритмов зрения.

Интеграция чувствования, обработки и памяти на уровне пикселя не только обеспечивает высокопроизводительные системы с низкой задержкой, но и обещает низкое энергопотребление, высокоэффективное железо. Устройства SCAMP могут быть реализованы с форм-факторами, похожими на текущие камерные сенсоры, но с возможностью иметь универсальный, массивно-параллельный процессор прямо в точке захвата изображения.