Нейроморфное зрение требует разнообразных приложений

Компания Prophesee, специализирующаяся на визуализации событий, представила несколько интересных приложений для своих датчиков технического зрения со всего мира, включая биотехнологии, научный анализ, робототехнику и космические технологии. Один проект частично вернул зрение слепому; другой отслеживает космический мусор по небу, днем ​​или ночью.

Prophesee сказал, что сегодня сообщество из 2200 изобретателей работает с его технологиями. Эти проекты представлены как часть сообщества изобретателей Prophesee, цель которого - вдохновлять будущее творчество. Вот подробности.

Восстановление зрения

Gensight Biologics частично восстановила зрительную функцию у пациента с пигментным ретинитом на поздней стадии. Для лечения используются специальные очки, оснащенные датчиком зрения на основе событий Prophesee.

В рамках терапии сетчатку пациента обрабатывали светочувствительными белками, полученными из водорослей, которые делают клетки сетчатки чувствительными к янтарному свету (590 нм). Датчик зрения Prophesee является частью пары очков, которые преобразуют оптический сигнал в желтый свет высокой интенсивности, который попадает в глаза пациента. После семи месяцев использования очков пациент (который ранее был полностью слепым) мог видеть достаточно хорошо, чтобы обнаружить пешеходный переход, отмеченный на улице. Он смог идентифицировать записную книжку на столе перед собой (92% случаев) и пенал (36% случаев). Он мог хватать предметы и считать их.

Компания Gensight Biologics интегрировала датчик Prophesee в очки, которые переводят изображения мира в янтарный свет. Модифицированные клетки сетчатки глаза пациента способны обнаруживать этот свет и понимать его. (Источник:Gensight Biologics / Prophesee)

Пациент видит края форм благодаря датчику Prophesee, который обеспечивает быстрое и плавное визуальное восприятие, устойчивое к условиям освещения. Датчик генерирует разреженные данные; не тратится время на перекодирование изображений.

Результаты исследования, проведенного в партнерстве с Базельским университетом-UPMC, были опубликованы в журнале Nature Medicine. Хотя эта работа касалась только одного пациента и носит предварительный характер, ее следует рассматривать как важный результат для применения этой техники и лечения пациентов с нейродегенеративными заболеваниями и т. Д.

Клеточная терапия

Компания Cambridge Consultants в Великобритании использовала датчик Prophesee в системе медицинской визуализации для клеточной терапии. Клеточная терапия имеет потенциал для лечения рака, аутоиммунных и неврологических заболеваний, среди ее применений, основанных на перепрограммировании собственных клеток пациента. Производство перепрограммированных клеток - трудоемкий ручной процесс, разовая доза которого стоит в среднем 475 000 долларов.

Ключевым этапом процесса является проверка стерильности образцов. Инкубация может занять 7-14 дней, пока пациент ожидает лечения. При обнаружении контаминантов необходимо взять новые образцы и снова начать инкубационный период. Компания Cambridge Consultants использовала датчик изображения Prophesee для анализа образцов на уровне клеток, а модели искусственного интеллекта - для обнаружения, отслеживания и классификации загрязнителей в реальном времени (<18 мс по сравнению с 7–14 днями).

PureSentry использует датчик Prophesee в сочетании с искусственным интеллектом для обнаружения загрязнителей (в данном случае кишечной палочки) по размеру, форме и движению. (Источник:Cambridge Consultants)

Система PureSentry, разработанная Cambridge Consultants, может отслеживать как человеческие клетки, так и загрязнители с точностью и точностью, опережая другие методы. Компания показала видео, на котором бактерии кишечной палочки обнаруживаются в образце на основе их размера, формы и характерного движения. Он работает в более сложных условиях, таких как низкая освещенность и высокая скорость потока, и является неразрушающим испытанием. Это устройство может помочь повысить автоматизацию процесса клеточной терапии; не требуются высококвалифицированные специалисты.

Отслеживание частиц

Команда из Университета Глазго, Университета Хериот-Ватт и Университета Стратклайда использовала датчик изображения Prophesee для высокоскоростного обнаружения и отслеживания частиц. Наша цель - сделать микрофлюидный анализ быстрее и дешевле.

Команде удалось профилировать частицы размером до 1 мкм при скорости жидкости до 1,54 м / с и получать данные с разрешением по времени, эквивалентным 20 000 изображений в секунду. В их установке используется датчик видения на основе событий Prophesee со стандартным флуоресцентным микроскопом и освещением.

Сенсорный робот

Исследователи из Национального университета Сингапура используют зрение, основанное на событиях, в сочетании с новой технологией сенсорных датчиков, чтобы сформировать осязание для рук и рук роботов.

Сенсорный датчик NeuTouch, разработанный исследователями, представляет собой набор из 39 датчиков, установленных на кончике пальца робота. Этот датчик выдает «пиковые» сигналы, подобные датчику Prophesee, который может обрабатываться нейроморфным процессором (в частности, Intel Loihi).

Датчик NeuTouch Национального университета Сингапура по размеру сопоставим с человеческим пальцем (A), состоит из частей, аналогичных костям и коже (B), и содержит 39 тактильных пикселей или «тактелей» (C). (Источник:Национальный университет Сингапура / Prophesee)

Эта работа важна, потому что она демонстрирует способ интеграции и извлечения смысла из данных от нескольких датчиков (сенсор касания и сенсор Prophesee) одновременно, что подходит для сложных задач в системах с ограниченным энергопотреблением.

Робот обучен поднимать емкости с разным количеством жидкости; он смог определить, что это была за жидкость и сколько она весила. Информация о весе поступала от видеодатчика из-за того, что каждый контейнер деформировался при поднятии.

Робот был протестирован с помощью «теста скольжения» - определения минимального давления, необходимого для надежного захвата объекта. Сочетание сенсорного и визуального восприятия означало, что система могла обнаруживать скольжение очень быстро, в 1000 раз быстрее, чем человеческое прикосновение, обнаруживая вращательное скольжение за 0,08 с.

Исследователи надеются, что эта технология может быть использована в промышленной робототехнике и даже для восстановления осязания протезами рук.

Прочтите EE Times Репортаж об этой захватывающей технологии здесь.

Космический мусор

Университет Западного Сиднея разработал Astrosite, мобильную обсерваторию, в которой используется технология Prophesee в сочетании с телескопами для отслеживания космического мусора на орбите вокруг Земли.

Обсерватории с телескопами Astrosite готовы к развертыванию (Источник:Western Sydney University)

Растущее количество спутников на орбите означает, что возрастает риск столкновения с другими объектами; в космосе около 4850 спутников, но только около 40% из них активны. Мониторинг мертвых спутников и другого мусора обычно осуществляется с помощью камер с высоким разрешением, которые не идеальны для съемки при дневном свете. Они также захватывают в основном пустое пространство, что приводит к обработке большого количества ненужных данных.

Зондирование на основе событий - хорошее решение, поскольку оно фиксирует данные об изменениях в поле зрения. Astrosite генерирует от 10 до 1000 раз меньше данных с помощью датчика событий Prophesee, чем обычная система камер. Он также может непрерывно отслеживать обломки (днем и ночью) с микросекундным временным разрешением при малой мощности.

>> Эта статья изначально была опубликована на нашем дочернем сайте EE Times Europe.

---

Связанное содержание:

• Дебют нейроморфных ИИ-чипов для пикового развития нейронных сетей.
• Слияние датчиков обеспечивает роботизированный захват.
• Многослойная архитектура датчиков обеспечивает расширенные возможности технического зрения.
• Алгоритм машинного обучения использует изменчивость ReRAM.
• Инструменты продвигают вверх по цепочке создания стоимости, чтобы раскрыть загадку Vision AI.

Чтобы получить больше информации о Embedded, подпишитесь на еженедельную рассылку Embedded по электронной почте.