Революция в машинном зрении:как датчики событий обеспечивают более быструю и интеллектуальную обработку изображений

Рост количества контента, генерируемого камерами, в потребительском и промышленном секторах возложил бремя на способность машин эффективно собирать, обрабатывать и использовать визуальные данные практичным и эффективным способом. Текущие проблемы включают в себя:сбор огромного количества данных (большая часть которых не имеет отношения к машинам); недостаточные возможности обработки (особенно в приложениях, ограниченных размером и мощностью), а также потребность в обработке в реальном времени. Следовательно, разработчики систем с поддержкой машинного зрения — от смартфонов, носимых устройств, умных домов, Интернета вещей, систем, автомобильных технологий до оборудования промышленной автоматизации — ищут способы трансформировать традиционный подход к зрению и сбору данных.

Зародившись в предоставлении изображений для потребления человеком, прогресс технологии камер за всю ее историю — в основном опирающийся на методы на основе кадров — оказался недостаточным для удовлетворения требований современного машинного зрения. В течение многих лет машинное зрение полагалось на визуальную информацию, полученную и структурированную для интерпретации человеком:видеопотоки, состоящие из последовательных изображений, снятых датчиком изображения. Каждое изображение представляет собой статический снимок в конкретный момент, лишенный динамической информации. Этот метод сбора визуальных данных распространен в большинстве систем машинного зрения, предназначенных для мониторинга изменений и движений в динамических средах.

Используя нейроморфные методы, вдохновленные системой человеческого зрения, подход к зрению, основанный на событиях, направлен на повышение эффективности и производительности различных систем с поддержкой машинного зрения в потребительском, промышленном, автомобильном и других секторах для повышения безопасности, производительности и удобства пользователей. (Изображение:Пророк)

Основная проблема возникает, когда в сцене происходит движение или изменение, что характерно для большинства приложений машинного зрения, и становятся очевидными присущие ограничения захвата визуального кадра. Независимо от установленной частоты кадров, если камера попытается запечатлеть движущуюся сцену, она всегда будет неточной. Поскольку разные части сцены обычно одновременно демонстрируют разную динамику, использование одной частоты дискретизации для регулирования экспозиции пикселей в массиве изображений неизбежно приводит к неадекватному захвату этой разнообразной динамики сцены, происходящей одновременно.

Меньше значит больше при распознавании событий

Эта проблема усугубляется тем, что проблемы с традиционными датчиками изображения заключаются в том, что они медленны и энергоемки, при этом производят чрезмерные избыточные данные и имеют ограниченный динамический диапазон, что делает их плохо подходящими для задач машинного зрения, особенно в сложных операционных средах. Следовательно, в настоящее время появляются биологически вдохновленные «нейроморфные» системы машинного зрения, основанные на событиях, которые предлагают повышенную скорость, минимальную задержку, лучшую энергоэффективность и более широкий динамический диапазон, которые хорошо подходят для различных приложений машинного зрения.

Зрение, основанное на событиях, знаменует собой сдвиг парадигмы в том, как визуальная информация собирается и обрабатывается для использования в современном машинном зрении. Используя нейроморфные методы, вдохновленные системой человеческого зрения, этот подход направлен на повышение эффективности и производительности различных систем с поддержкой машинного зрения в потребительском, промышленном, автомобильном и других секторах, чтобы повысить безопасность, производительность и удобство для пользователей.

Видение на основе событий работает иначе, чем традиционные камеры, поскольку оно отличается от единой скорости сбора данных для всех пикселей. Вместо этого каждый пиксель независимо определяет время выборки на основе изменений падения света благодаря выделенному интеллекту для каждого пикселя. Информация об обнаружении контраста инкапсулируется в «события», включающие координаты x,y пикселя и точное время генерации события. Например, с помощью запатентованных датчиков Prophesee, основанных на событиях, пиксели интеллектуально активируются при обнаружении изменений контрастности (движения), что облегчает непрерывный захват важных деталей движения на уровне пикселей.

Разница при переходе от фиксированной частоты кадров заключается в том, как каждый пиксель может регулировать свою частоту дискретизации в соответствии с визуальным входным сигналом. Этот персонализированный подход позволяет каждому пикселю определять точки отбора проб, реагируя на изменения уровней падающего света. Следовательно, процесс дискретизации больше не определяется искусственным источником синхронизации, а скорее самим сигналом или, в частности, временными колебаниями амплитуды сигнала. Результат, получаемый такими камерами, превращается из последовательности изображений в непрерывный поток данных отдельных пикселей, генерируемых условно на основе динамики сцены.

Датчики событий обладают рядом преимуществ, включая высокую скорость работы (эквивалент 10 000 кадров в секунду), высокоэффективное энергопотребление (вплоть до диапазона микроватт), низкую задержку для более быстрого отклика, снижение потребностей в обработке данных (в 10–10 000 раз меньше, чем в системах на основе кадров) и высокий динамический диапазон до 120 дБ. Эти функции делают датчики событий пригодными для различных приложений и продуктов.

Применение концепции, основанной на событиях

Датчики событий с поддержкой нейроморфизма можно использовать для различных задач промышленной автоматизации, помогая повысить производительность, качество, безопасность и профилактическое обслуживание. (Изображение:Пророк)

Первоначально нейроморфные датчики событий нашли коммерческое применение не в машинах, а у людей, для восстановления зрения у слабовидящих людей. Это привело к появлению вариантов использования в промышленной автоматизации и мониторинге процессов. Эти применения продемонстрировали преимущества датчиков событий для решения многочисленных задач машинного зрения, особенно тех, которые связаны с быстродвижущимися и меняющимися элементами, непредсказуемыми условиями окружающего освещения и ограниченными ресурсами. Последующие поколения систем, основанных на событиях, применялись в промышленных условиях для таких задач, как высокоскоростной подсчет, профилактическое обслуживание (например, мониторинг вибрации), повышение эффективности и безопасности робототехники, отслеживание глаз или жестов для AR/VR, а также различные приложения логистики и безопасности.

Эти присущие им преимущества делают датчики событий идеальными для приложений Интернета вещей. Потребление энергии играет решающую роль в устройствах Интернета вещей, особенно в тех, которые работают от батарей. Видеонаблюдение на основе событий хорошо подходит для таких сценариев, поскольку оно работает при значительно более низких уровнях мощности по сравнению с системами камер на основе кадров. Более того, камеры, основанные на событиях, превосходно работают в сложных условиях освещения, характерных для многих приложений Интернета вещей, благодаря их светонезависимой обработке информации. Их широкий динамический диапазон позволяет им захватывать широкий диапазон интенсивности света в одном кадре, что делает их идеальными для сред с различными условиями освещения, например, для сцен на открытом воздухе с ярким солнечным светом или в ночное время.

Благодаря динамическому диапазону, превышающему 120 дБ, камеры на основе событий могут эффективно работать даже в средах, где традиционные камеры испытывают трудности с различными условиями освещения — будь то чрезвычайно яркие места, например, общественные места или транспортные средства в течение дня, или слабоосвещенные сценарии, такие как ночные операции или темные заводские настройки, где датчики событий можно использовать для профилактического обслуживания и задач мониторинга безопасности. (Изображение:Пророк)

Благодаря динамическому диапазону, превышающему 120 дБ, камеры на основе событий могут эффективно работать даже в средах, где традиционные камеры испытывают трудности с различными условиями освещения — будь то чрезвычайно яркие места, например, общественные места или транспортные средства в течение дня, или слабоосвещенные сценарии, такие как ночные операции или темные заводские настройки. Кроме того, эти камеры обеспечивают минимальную задержку, передавая информацию только при изменении яркости сцены. Реакция в реальном времени оказывается полезной в быстро меняющихся ситуациях освещения, например, при резких переходах от света к темноте или наоборот. Камеры на основе событий, которые обнаруживают отдельные изменения интенсивности света, менее склонны к размытию изображения по сравнению с обычными камерами на основе кадров.

Эта функция особенно ценна в сценариях, связанных с быстрыми движениями, обеспечивая четкое качество изображения. Разрабатываются новые варианты использования этого преимущества для камер в смартфонах, например, партнерство Prophesee с Qualcomm для интеграции своей технологии на основе событий с популярной платформой Snapdragon.

Дальнейшее развитие датчиков событий для Интернета вещей предполагает их адаптацию для задач периферийного зрения с ограниченными возможностями встроенных вычислений из-за сбора разреженных данных. Однако более широкому внедрению препятствуют такие проблемы, как нетрадиционные форматы данных, переменная скорость передачи данных и нестандартные интерфейсы. Чтобы решить эту проблему, последнее поколение датчиков событий, примером которого является GenX320 от Prophesee, призвано улучшить интеграцию и удобство использования во встроенных системах периферийного зрения за счет включения таких функций, как предварительная обработка и форматирование данных о событиях, совместимые интерфейсы данных и возможность подключения с малой задержкой к различным платформам обработки, включая энергоэффективные нейроморфные процессоры. Например, GenX320 предлагает множество функций предварительной обработки, адаптируемые интерфейсы и варианты управления питанием для эффективного обслуживания энергозависимых приложений машинного зрения.

Несмотря на их эксплуатационную эффективность, оптимизация датчиков событий для использования с низким энергопотреблением, подходящая для установок Интернета вещей, остается критически важной. Реализация ряда режимов питания и режимов работы для конкретных приложений может значительно повысить энергоэффективность для постоянно работающих приложений. Использование встроенных в кристалл механизмов и стратегий интеллектуального управления питанием может еще больше повысить гибкость и удобство использования датчиков; Решения Prophesee продемонстрировали снижение энергопотребления до 36 мкВт благодаря включенной функции интеллектуального пробуждения по событиям. Кроме того, может оказаться полезной поддержка режимов глубокого сна и ожидания.

Конкретные соображения для датчика событий, предназначенного для приложений Интернета вещей, включают достижение отметок времени событий с микросекундным разрешением с минимальной задержкой, а также возможности бесшовного взаимодействия со стандартными SoC посредством интегрированных функций предварительной обработки данных о событиях. Использование выходных интерфейсов MIPI или CPI обеспечивает быстрое соединение со встроенными платформами обработки, такими как маломощные микроконтроллеры и современные архитектуры нейроморфных процессоров. Конфиденциальность на уровне датчиков обеспечивается за счет разреженных безрамочных данных о событиях датчиков событий и включает удаление статических сцен.

Датчики на основе событий продолжают развиваться, чтобы удовлетворить потребности более широкого спектра приложений. Последний датчик Prophesee, Genx320, делает его хорошо подходящим для нужд многих случаев использования Интернета вещей, которые должны работать в системах с низким энергопотреблением и малым форм-фактором. (Изображение:Пророк)

Датчики, основанные на событиях, теперь используются в более широком спектре приложений. Интегрируя эти датчики с платформами Интернета вещей, разработчики продуктов удовлетворяют конкретные потребности рынка, связанные с энергопотреблением и размером. Сценарии использования включают фовеатный рендеринг для расширенных возможностей AR/VR, отслеживание глаз для человеко-машинных интерфейсов и приложения безопасности, такие как системы мониторинга водителя и обнаружения эмоций. Они также поддерживают постоянные функции в целях безопасности, такие как камеры обнаружения падения и отслеживание жестов/рук для иммерсивных интерфейсов. В области AR/VR такие приложения, как отслеживание изнутри наружу и отслеживание созвездий на основе мерцающих ЖК-дисплеев, обеспечивают точное отслеживание объектов или контроллеров.

В настоящее время разрабатываются и другие новые варианты использования, ставшие возможными благодаря усовершенствованию кремниевой технологии, включая высокоскоростную 3D-технологию структурированного света, которая позволяет генерировать облака точек с частотой повторения килогерц для промышленных приложений. Системы умного дома, ориентированные на конфиденциальность, такие как устройства обнаружения падения, также получают все более широкое распространение, поскольку технологии машинного зрения решают проблемы конфиденциальности, не захватывая и не передавая изображения.

Событийное зрение находится на пути к утверждению в качестве парадигмы, которая создаст новый стандарт на многих рынках, требующих эффективности в том, как машины могут видеть. За последние несколько лет он успешно развивался, чтобы удовлетворить более широкий спектр применений. Продолжая адаптироваться и удовлетворять требования многих приложений, мы увидим вокруг себя больше камер, реагирующих на события.

Эту статью написал Лука Верре, генеральный директор и сооснователь компании Prophesee (Париж, Франция). Для получения дополнительной информации посетите здесь  .