Камеры учатся и понимают, что они видят

Робототехники и исследователи искусственного интеллекта (ИИ) знают, что существует проблема в том, как современные системы воспринимают и обрабатывают мир. В настоящее время они по-прежнему комбинируют датчики, например цифровые камеры, предназначенные для записи изображений, с вычислительными устройствами, такими как графические процессоры (GPU), предназначенными для ускорения графики в видеоиграх.

Это означает, что системы ИИ воспринимают мир только после записи и передачи визуальной информации между датчиками и процессорами. Но многие вещи, которые можно увидеть, часто не имеют отношения к поставленной задаче, например, детали листьев на придорожных деревьях, когда мимо проезжает беспилотный автомобиль. На данный момент вся эта информация фиксируется датчиками в мельчайших деталях и отправляется, забивая систему ненужными данными, потребляя энергию и занимая время на обработку.

Исследователи черпали вдохновение в том, как естественные системы обрабатывают визуальный мир:глаза и мозг человека работают вместе, чтобы понять мир, а в некоторых случаях глаза сами выполняют обработку, чтобы помочь мозгу уменьшить то, что не имеет значения. Исследователи внедрили сверточные нейронные сети (CNN), форму алгоритма искусственного интеллекта для обеспечения визуального понимания непосредственно на плоскости изображения. CNN могут классифицировать кадры тысячи раз в секунду без необходимости записывать эти изображения или отправлять их по конвейеру обработки. Исследователи рассматривали демонстрации классификации рукописных чисел, жестов рук и даже планктона.

Исследование предполагает будущее с интеллектуальными специализированными камерами с искусственным интеллектом — визуальными системами, которые могут просто отправлять высокоуровневую информацию остальной части системы, такую ​​как тип объекта или событие, происходящее перед камерой. Такой подход сделал бы системы намного более эффективными и безопасными, поскольку не нужно было бы записывать изображения.

Работа включает в себя SCAMP, чип процессора камеры, который команда описывает как Pixel Processor Array (PPA). В PPA встроен процессор, встроенный в каждый пиксель, который может взаимодействовать друг с другом для обработки в действительно параллельной форме. Это идеально подходит для CNN и алгоритмов машинного зрения.

Интеграция датчиков, обработки и памяти на уровне пикселей не только позволяет создавать высокопроизводительные системы с малой задержкой, но также обещает низкое энергопотребление и высокоэффективное оборудование. Устройства SCAMP могут быть реализованы так же, как современные датчики камеры, но с возможностью использования универсального процессора с массовым параллелизмом прямо в точке захвата изображения.