Prophesee и Sony представляют стэковый event-based визионный сенсор с рекордным HDR и ультра-маленькими пикселями

ПАРИЖ — Prophesee, парижский пионер нейроморфических систем зрения, и Sony Corp. анонсировали на Международной конференции по твердотельным схемам (ISSCC) в Сан-Франциско прорывной стэковый event-based визионный сенсор, сочетающий event-driven архитектуру Prophesee с передовым стэковым CMOS технологией Sony.

Спроектированный с нуля для асинхронного обнаружения событий, сенсор доставляет наименьший в отрасли размер пикселя 4,86 мкм и исключительный высокий динамический диапазон 124 дБ, обеспечивая надежную работу от яркого дневного света до глубоких ночных сцен (до 40 мЛк).

Пиксельный чип (слева) и логический чип (источник: Prophesee)

В стэковой конфигурации верхний пиксельный слой и нижний логический слой соединены медь-в-медь интерконнектами, позволяя плотный 40 нм процесс, достигающий 1280×720 HD разрешения при сохранении высокого апертурного соотношения до 77%. Эта архитектура также поддерживает эффективный асинхронный дельта-модуляционный конвейер обработки сигналов, захватывающий изменения яркости как дискретные события.

Впервые сотрудничество предлагает возможность интеграции ИИ-сенсирования и ИИ-обработки непосредственно на или рядом с сенсором, проложивая путь к истинно интеллектуальным краевым устройствам таким как автономные автомобили, промышленные роботы и передовые системы машинного зрения.

Стратегическое партнерство

Sony, мировой лидер в CMOS образных сенсорах, приносит в партнерство свою производственную экспертизу и IP портфель, давая технологии Prophesee коммерческую достоверность. CEO Лука Верре отмечает, что альянс начался в 2017 году и первые образцы стэкового сенсора планировались к выпуску в 2020 году.

Для Sony партнерство сигнализирует стратегический сдвиг к «сенсингу» вместо простого образа. Это зеркалирует влияние поглощения SoftKinetic в 2015 году, которое позволило Sony «DepthSense» time-of-flight (ToF) решениям в Android смартфонах. Event-based сенсор позиционирует Sony для захвата более богатых потоков данных в авто и промышленных рынках, где потребители все больше требуют более глубоких сенсорных инсайтов.

Экспертное мнение

Пьер Камбу из Yole Développement сравнивает сотрудничество с «открытием ящика Пандоры». Он подсвечивает потенциал будущих стэковых дизайнов, интегрирующих нейроны, память и обработку, движущихся к ИИ-интегрированным образным сенсорам, способным к on-the-fly улучшению и прямому event-based выводу.

Пьер Камбу, Yole Développement

Сочетая нейроморфический пиксельный дизайн Prophesee с производственными возможностями Sony, совместный сенсор представляет значительный шаг вперед в визионной технологии, предлагая высокий динамический диапазон, низкий шум и event-driven операцию, выровненную с будущим ИИ-включенных краевых вычислений.

Поскольку обе компании нацелены на вывод сенсора на рынок, партнерство обещает открыть новые коммерческие возможности и установить новый бенчмарк для визионных систем по всему миру.