Многослойная архитектура датчиков обеспечивает расширенные возможности зрения

ПАРИЖ. Парижский стартап Prophesee, который первым разработал системы нейроморфного зрения, представил на этой неделе на Международной конференции по твердотельным схемам (ISSCC) в Сан-Франциско новый многослойный датчик видения на основе событий, разработанный совместно с Sony Corp.

Разработанный на основе событийно-ориентированной технологии Prophesee, новый датчик был построен на основе технологий, разработанных Sony для усовершенствованных многослойных CMOS-датчиков изображения.

Пиксельный чип (слева) и логический чип (Источник:Prophesee)

По заявлению Prophesee, для систем, управляемых событиями, новый датчик предлагает самый маленький в отрасли размер пикселя и самую высокую в отрасли производительность с расширенным динамическим диапазоном (HDR). Созданный мозгом датчик позволит промышленным машинам, роботам и автономным транспортным средствам лучше видеть и ощущать окружающую среду.

Партнерство может ознаменовать новую эру, в которой ИИ - как распознавание ИИ, так и обработка ИИ - может иметь место очень близко к датчику, если еще не на самом датчике, где генерируются данные.

Лука Верре, генеральный директор Prophesee

Что это дает двум компаниям?

Sony - мировой лидер в производстве датчиков изображения CMOS. Его партнерство обеспечивает коммерческое доверие к новой сенсорной технологии Prophesee. Лука Верре, генеральный директор Prophesee, надеется, что этот шаг откроет двери для событийных камер Prophesee на массовый рынок.

«Учитывая характер нашей технологии, в которой используется множество транзисторов, электроники и фотодиодов, сотрудничество с Sony всегда было нашим первым выбором», - сказал Верре EE Times . . Компании начали работать вместе в 2017 году. Верре пообещал, что образцы первых многослойных датчиков видения, основанных на событиях, будут доступны в 2020 году.

Партнерство с Prophesee может изменить правила игры для Sony, давая японскому гиганту шанс изучить технологию визуализации, управляемую событиями.

Ящик Пандоры

Пьер Камбу, главный аналитик Yole Développement, считает партнерство Prophesee и Sony эквивалентом «открытия ящика Пандоры».

Пьер Камбу

В нейроморфной камере, разработанной Prophesee, «каждый пиксель, по сути, является нейроном», - отметил Камбу. Называя разработку стекирования микросхем «все еще на ранней стадии», Камбу предсказал, что в дальнейшем нейроны, память и обработка могут быть объединены вместе. Текущий энтузиазм по поводу увеличения интеллекта для «периферии» или «конечной точки» предвещает день в будущем, когда ИИ будет обнаружен и обработан внутри датчика.

Sony сможет разработать интегрированный с ИИ датчик изображения, который «может улучшать изображения на лету», или создать датчик изображения, который «напрямую предлагает зондирование на основе событий», - пояснил Камбу.

Фактически, кто-то уже применил нейронные сети к « Прибытие поезда в Ла-Сьота» - знаменитый ранний фильм, снятый братьями Люмьер в 1896 году - чтобы восполнить недостающие пиксели. Эти усилия позволили возродить и масштабировать фильм 124-летней давности до 4K-видео с частотой 60 кадров в секунду. Назвав такое масштабное видео модным явлением в Интернете, Камбу объяснил, что сила искусственного интеллекта хорошо зарекомендовала себя в мире обработки изображений.

Биомимикрический подход к ИИ - альтернатива вычислениям фон Неймана. «Его важность будет возрастать по мере того, как ИИ станет более распространенным», - сказал Камбу.

«Прибытие поезда в Ла-Чикота», первоначально снятое братьями Люмьер в 1896 году, было увеличено до 4K, 60 кадров в секунду, Денис Ширяев

Строительные блоки для многослойного датчика технического зрения на основе событий

В недавно разработанном датчике, управляемом событиями, пиксельный чип (вверху) и логический чип (внизу) уложены вместе. Логика включает схемы обработки сигналов, предназначенные для обнаружения изменений яркости на основе метода асинхронной дельта-модуляции.

Каждый пиксель двух отдельных микросхем электрически соединен с помощью соединения медь-медь в многослойной конфигурации.

Это позволяет новому датчику достигать наименьшего в отрасли размера пикселя (4,86 мкм). Он также обеспечивает тип 1/2, разрешение 1280 × 720 HD за счет интеграции высокой плотности с точным 40-нм логическим процессом.

Еще одна особенность нового сенсора, управляемого событиями, - это его способность обеспечивать, как утверждает Prophesee, самую высокую в отрасли производительность HDR:124 дБ (или более). Команда достигла этого, разместив на пиксельном чипе только пиксели с задней подсветкой и часть МОП-транзистора N-типа (вверху). По словам Prophesee, это увеличивает светосилу до 77%. Технологии высокой чувствительности / низкого уровня шума, разработанные Sony на протяжении многих лет для датчиков изображения CMOS, сделали возможным обнаружение событий в условиях низкой освещенности (40 мл x).

Разделение труда?

Генеральный директор Prophesee Верре отметил, что роль Sony в партнерстве не ограничивается литейным производством. Обладая солидными знаниями и собственным портфелем IP в событийно-ориентированных технологиях, Верре сказал:«Мы подошли к столу с четким представлением о том, как мы хотим разрабатывать пиксели». Совместные усилия двух компаний сделали возможным создание новой управляемой событиями конструкции сенсора - аналоговой, логической и силовой - в сочетании с передовым производственным процессом Sony.

«Эти отношения тоже не являются чисто исследовательской работой», - отметил Верре. Намерение состоит в том, чтобы поддерживать долгосрочное партнерство, которое позволит вывести технологию на коммерческий рынок при разработке приложений.

Что это значит для Sony?

В мире есть много игроков, использующих датчики изображения CMOS. Камбу заметил, что Sony приняла близко к сердцу предсказание о том, что датчики изображения CMOS «больше не предназначены для визуализации, а на самом деле - для восприятия» - евангелие, которое Камбу проповедовал уже давно.

Помните приобретение Sony в 2015 году бельгийской компании SoftKinetic, разработчика технологий компьютерного зрения 3D? Камбу сказал, что это приобретение позволило Sony занять долю на растущем рынке датчиков времени полета (ToF), которые производители Android-смартфонов внезапно начали требовать в прошлом году. «Представьте, что случилось бы с Sony, если бы компания тогда не баловалась технологией измерения глубины», - сказал Камбу.

По его мнению, партнерство с Prophesee ничем не отличается. Когда игроки на рынках автомобильного и промышленного машинного зрения начинают искать более богатые данные зондирования для улучшения своей деятельности, они с большей вероятностью добавят новую технологию зондирования вместо того, чтобы добавить еще одну идентичную камеру.

Короче говоря, Prophesee может быть компанией, дающей возможность Sony выйти на рынок датчиков изображения, управляемых событиями, точно так же, как SoftKinetic позволил Sony разрабатывать решения «DepthSense» и внедрять их в смартфоны.

Теперь, благодаря своей технологии DepthSense, Sony встраивает датчики изображения ToF во многие смартфоны Android. Это добавляет к преимуществам конструкции CMOS-датчиков изображения, которые Sony уже накопила в передней и задней камерах смартфонов.