Нейроморфное зрение прорыва: от здравоохранения до космоса

Событийные сенсоры зрения Prophesee уже переформировали широкий спектр областей — от восстановления зрения пациентов до обнаружения космического мусора ночью. С глобальным сообществом из 2200 изобретателей технология компании доказывает, что быстрое, низкопотребляемое зрение может давать осязаемые результаты в реальных приложениях.

Восстановление зрения слепому пациенту

Gensight Biologics сотрудничала с Prophesee для создания очков, преобразующих визуальную информацию в янтарный свет (590 нм). Свет активирует фоточувствительные белки, доставленные на сетчатку пациента, позволяя глазу интерпретировать сигнал. Через семь месяцев использования бывший слепой пациент мог определять пешеходный переход, находить блокнот на столе в 92% случаев и обнаруживать пенал в 36% случаев. Он также смог хватать и считать предметы. Исследование, опубликованное в Nature Medicine в сотрудничестве с Университетом Базеля-UPMC, демонстрирует способность сенсора доставлять быстрые, непрерывные визуальные данные без накладных расходов на перекодирование изображений.

Очки Gensight Biologics переводят изображения в янтарный свет, позволяя модифицированным ретинальным клеткам воспринимать мир. (Источник: Gensight Biologics / Prophesee)

Ускорение производства клеточных терапий

Производство персонализированных клеточных терапий трудоемко и дорого — средняя доза стоит $475,000. Cambridge Consultants использовали сенсор Prophesee для мониторинга клеточных культур в реальном времени, обнаруживая бактериальные загрязнители менее чем за 18 мс против традиционных 7–14 дней инкубации. Система PureSentry может идентифицировать, отслеживать и классифицировать патогены, такие как E. coli, работая в условиях низкого освещения и высоких скоростей потока, что обеспечивает неразрушающий автоматизированный тест на стерильность и снижает потребность в высококвалифицированных техниках.

PureSentry объединяет зрение Prophesee с ИИ для обнаружения загрязнителей по размеру, форме и движению. (Источник: Cambridge Consultants)

Микролидное отслеживание частиц

Консорциум университетов (Глазго, Херриот-Уотт, Страткляйд) использовал сенсор Prophesee для захвата частиц 1 мкм, движущихся со скоростью 1,54 м/с, с временным разрешением 20 000 кадров в секунду. Установка, сочетающая сенсор со стандартным флуоресцентным микроскопом, обещает более быстрый и дешевый микролидный анализ.

Робототехническое тактильное зрение

Исследователи Национального университета Сингапура соединили событийное зрение Prophesee с новой тактильной сеткой — NeuTouch — чтобы наделить роботизированные руки чувством прикосновения. 39-пиксельная сетка «тактелей», размером с кончик человеческого пальца, генерирует импульсные сигналы, которые нейроморфный процессор Intel Loihi интерпретирует вместе с визуальными данными. Робот научился подбирать емкости с разным содержанием жидкости, определяя и тип, и вес, наблюдая за деформацией емкости. В тесте на скольжение комбинированный сенсорный набор обнаружил скольжение в 1000 раз быстрее человеческого прикосновения, выявляя вращательное скольжение всего за 0,08 с.

NeuTouch: тактильная сенсорная сетка размером с кончик пальца, интегрированная с зрением Prophesee для роботизированного восприятия. (Источник: NUS / Prophesee)

Отслеживание космического мусора

Мобильная обсерватория Astrosite Западного Сиднейского университета соединяет сенсоры Prophesee с телескопами для мониторинга орбитального мусора. С 4850 спутниками на орбите Земли и только ~40% активными, пассивное отслеживание мусора критично. Обычные камеры производят избыточные данные и плохо работают днем. Событийный подход Astrosite генерирует в 10–1000 раз меньше данных, обеспечивая непрерывный мониторинг с микросекундным разрешением при низком потреблении — как днем, так и ночью.

Обсерватории Astrosite готовы к развертыванию. (Источник: Западный Сиднейский университет)

Эти разнообразные проекты иллюстрируют, как событийное зрение обеспечивает скорость, эффективность и надежность в разных отраслях — от здравоохранения до космической разведки.

Связанные темы:

• Нейроморфные ИИ-чипы для спайковых нейронных сетей дебютируют
• Сенсорный фьюжн обеспечивает роботизированный захват
• Стекованная архитектура сенсоров привносит передовые возможности зрения
• Алгоритм машинного обучения использует вариабельность ReRAM
• Инструменты поднимаются по цепочке создания стоимости, чтобы убрать тайну из Vision AI

Для получения дополнительного контента Embedded подпишитесь на еженедельную рассылку Embedded.