Ambarella, Lumentum и ON Semiconductor презентуют ИИ-решения 3D-сенсинга для AIoT нового поколения

Ambarella (компания по ИИ-визорному кремнию), Lumentum (разработчик и производитель инновационных оптических и фотонных продуктов) и ON Semiconductor (поставщик решений на базе CMOS-образовых сенсоров) объединились для создания двух новых совместных референс-дизайнов, которые, по их словам, «ускорят внедрение устройств Artificial Intelligence of Things (AIoT) по вертикалям».

Дизайны основаны на предыдущем совместном решении для бесконтактных систем доступа. Комбинируя данные от высокопроизводительных VCSEL-массивов-подсветок Lumentum и образового сенсора ON Semiconductor с использованием ИИ-SoC Ambarella, можно достичь более высокой точности и более интеллектуального принятия решений в устройствах AIoT нового поколения для биометрического контроля доступа, 3D-электронных замков и других интеллектуальных сенсорных приложений.

Изначально предназначенные для биометрического контроля доступа и электронных замков, эти новые референс-дизайны также могут отвечать на потребности умных городов, зданий, домов и интеллектуального здравоохранения. Кроме того, высокий уровень интеграции, предоставляемый этими совместными решениями, значительно снижает системное потребление энергии и требования к тепловому дизайну, позволяя значительно более компактные форм-факторы продуктов.

«Видение Ambarella — объединить ИИ-обработку с 3D- и визорным сенсингом для создания амбиентного интеллектуального будущего. Это сотрудничество с Lumentum и ON Semiconductor еще больше сблизит конвергенцию ИИ и IoT для включения нового поколения систем контроля доступа, вдохновляя новые категории амбиентных сенсорных продуктов — все на базе сенсорного фьюжена с использованием ИИ-визорных процессоров, которые интеллектуально и ненавязчиво взаимодействуют с людьми для удовлетворения их постоянно меняющихся потребностей», — говорит Ферми Ванг, президент и CEO Ambarella.

«Наши новые совместные решения значительно повысят точность устройств AIoT по вертикалям — начиная с биометрического контроля доступа и электронных замков — позволяя им узнавать людей и предвосхищать их потребности, а не требовать прямого человеческого интерфейса. Многие из этих приложений воспользуются 3D-сенсингом для введения нового измерения входных данных для улучшенного принятия решений. Например, использование VCSEL-подсветки с более высоким разрешением позволяет увеличивать дальность сенсинга и точность распознавания лиц. VCSEL-массивы Lumentum с нулевым количеством полевых отказов, используемые в этих совместных решениях, движут новые приложения и помогают реализовать мечту об AIoT-устройствах с 3D-сенсингом», — говорит Тэя Уильямс, старший вице-президент и генеральный менеджер 3D-сенсинга Lumentum.

«Образовые сенсоры — это глаза для интеллектуальных сенсорных устройств. Их способность видеть дальше с большей детализацией предоставляет значительно больше информации для принятия решений ИИ-процессором в AIoT-устройствах. Наша ведущая RGB-IR технология сенсоров, в сочетании с передовыми возможностями ISP ИИ-визорных SoC Ambarella, может внедрять как видимые, так и IR-изображения в устройства одновременно. Для второго поколения наших совместных решений мы учли отзывы клиентов и учетверили разрешение наших RGB-IR образовых сенсоров до 4K (8 Мп)», — говорит Джанлука Колли, вице-президент и генеральный менеджер подразделения промышленных и потребительских сенсоров (ICSD) ON Semiconductor.

Два референс-дизайна и dev-киты

Новые совместные AIoT-решения трех компаний состоят из двух референс-дизайнов и дополнительных комплектов разработки 3D-сенсинга, каждый уникально сконфигурирован для удовлетворения прикладных требований к комбинации ИИ-обработки, 3D-глубинного сенсинга и визорного сенсинга:

• Vision+ — ориентирован на ридеры биометрического контроля доступа нового поколения. Это первое в индустрии AIoT 4K-решение для одно-камерного 940-nm структурно-светового сенсинга на базе RGB-IR технологии. Также первое, использующее одночиповое решение для обработки глубины, ИИ и видео. Основано на ИИ-визорном процессоре Ambarella CV22 CVflow, включает одно-камерный структурно-световой сенсинг на базе VCSEL-технологии Lumentum (дальность 2 метра) и 4K (8 Мп) RGB-IR CMOS образовый сенсор от ON Semiconductor.
• Saturn — ориентирован на умные электронные дверные замки (eLocks) нового поколения для коммерческих и жилых применений. Первое в индустрии AIoT, интегрирующее ИИ-обработку для одно-камерного структурно-светового сенсинга и быстрой загрузки видеообработки. Основано на Ambarella CV25 CVflow, включает структурно-световую камеру на VCSEL-технологии Lumentum и образовый сенсор AR0237CS 2MP RGB-IR от ON Semiconductor.

Для интеллектуальных сенсорных приложений с возможностями по вертикалям, dev-киты на базе серии CV2 CVflow ИИ-визорных процессоров Ambarella теперь могут оснащаться ToF-сенсорными адаптерами на базе передовых VCSEL-массивов Lumentum. Также доступен опциональный адаптер 4K RGB-IR образового сенсора.

Открытый SDK для CVflow ИИ-визорных процессоров Ambarella позволяет легкую интеграцию сторонних приложений, позволяя OEM адресовать различные региональные требования на одной платформе (например, используя разные ИИ-алгоритмы в разных регионах).

Кроме того, надежный Linux-based SDK расширяет возможности периферийных сенсорных устройств, упрощает разработку продукта и ускоряет time-to-market через:

• Возможности разработки кастомных приложений
• Поддержку различных 3D-модальностей, включая структурный свет и ToF. Уникально: один SoC Ambarella обеспечивает 3D-обработку без выделенного процессора глубины или отдельного хост-процессора
• Высокие возможности ИИ-инференса на устройстве камеры для одновременного запуска множества нейросетей
• Надежные ИИ-инструменты для разработки и миграции глубоких нейросетей
• Интегрированный ISP для работы со сложными сценами, включая HDR и низкое освещение
• Встроенные Arm-процессоры для запуска пользовательских приложений
• Интегрированное железо безопасности: secure boot, OTP для хранения ключей шифрования, Arm TrustZone для безопасного сравнения ключей
• Богатый интерфейс периферии для упрощения системного дизайна

Доступность

Эти совместные референс-дизайны и dev-киты ожидаются в июне. Подробности у Ambarella.