Ambarella, Lumentum и ON Semiconductor совместно работают над трехмерным зондированием на основе искусственного интеллекта для устройств AIoT следующего поколения

Ambarella, компания, занимающаяся производством кремния для искусственного зрения, Lumentum, разработчик и производитель инновационных оптических и фотонных продуктов, и ON Semiconductor, поставщик решений для датчиков изображения CMOS, объединились для создания двух новых совместных эталонных проектов, которые, по их словам, будут « ускорить развертывание устройств искусственного интеллекта вещей по вертикали».

Проекты основаны на предыдущем совместном решении компаний для систем бесконтактного доступа.

Комбинируя данные от высокопроизводительных матричных осветителей VCSEL от Lumentum и датчика изображения ON Semiconductor с использованием SoC Ambarella AI, можно добиться более высокого уровня точности и более интеллектуального принятия решений в устройствах AIoT нового поколения для биометрического контроля доступа, электронных 3D-замков. и другие интеллектуальные сенсорные приложения.

Эти новые эталонные конструкции, изначально предназначенные для биометрического контроля доступа и электронных замков, также могут удовлетворить потребности умных городов, умных зданий, умных домов и умного здравоохранения.

Кроме того, высокий уровень интеграции, обеспечиваемый этими совместными решениями, значительно снижает энергопотребление системы и требования к тепловым характеристикам, а также обеспечивает гораздо меньшие форм-факторы продукта.

Ферми Ванг, президент и главный исполнительный директор Ambarella, говорит:«Видение Ambarella состоит в том, чтобы объединить обработку искусственного интеллекта с 3D и визуальным восприятием для создания окружающего интеллектуального будущего».

«Это сотрудничество с Lumentum и ON Semiconductor будет способствовать дальнейшему сближению ИИ и Интернета вещей, чтобы обеспечить новое поколение систем контроля доступа, а также вдохновить на новые категории продуктов для измерения окружающей среды — все они основаны на слиянии датчиков с использованием процессоров искусственного зрения, которые взаимодействуют интеллектуально. и ненавязчиво общаться с людьми, удовлетворяя их постоянно меняющиеся потребности».

Теа Уильямс, старший вице-президент и генеральный менеджер отдела 3D-зондирования в Lumentum, говорит:«Наши новые совместные решения значительно повысят точность устройств AIoT во всех сферах применения, начиная с биометрического контроля доступа и электронных замков, позволяя им распознавать людей и предсказывать их потребности, а не прямой человеческий интерфейс.

«Многие из этих приложений будут использовать преимущества 3D-зондирования для внедрения нового измерения ввода данных для улучшения процесса принятия решений. Например, использование точечного освещения на основе VCSEL с более высоким разрешением обеспечивает более широкий диапазон обнаружения и более точное распознавание лиц.

«Лучшие в отрасли и высокопроизводительные массивы VCSEL от Lumentum с нулевыми полевыми отказами, используемые в этих совместных решениях, стимулируют появление новых приложений и помогают реализовать мечту об устройствах AIoT с возможностями 3D-зондирования».

Джанлука Колли, вице-президент и генеральный менеджер группы промышленных и потребительских датчиков (ICSD) в ON Semiconductor, говорит:«Датчики изображения — это глаза для интеллектуальных сенсорных устройств. Их способность видеть дальше с большей детализацией предоставляет значительно больше информации для принятия решений процессором ИИ в устройствах AIoT.

«Наша ведущая в отрасли сенсорная технология RGB-IR в сочетании с расширенными возможностями интернет-провайдеров SoC Ambarella AI Vision позволяет одновременно передавать на устройства как видимые, так и ИК-изображения. Для второго поколения наших совместных решений мы использовали отзывы клиентов, чтобы в четыре раза увеличить разрешение наших датчиков изображения RGB-IR до 4K (8MP)».

Новые совместные решения AIoT трех компаний состоят из двух эталонных проектов и дополнительных комплектов для разработки 3D-сенсоров, каждый из которых имеет уникальную конфигурацию для удовлетворения конкретных требований приложения к сочетанию обработки ИИ, 3D-зондирования глубины и визуального восприятия:

Эталонный дизайн Vision+, предназначенный для считывателей биометрических систем контроля доступа нового поколения, представляет собой первое решение 4K в отрасли AIoT, обеспечивающее однокамерное считывание структурированного света с длиной волны 940 нм на основе технологии RGB-IR.

Это также первое решение, использующее однокристальное решение для обработки глубины, искусственного интеллекта и обработки видео. Основанный на процессоре машинного зрения Ambarella CV22 CVflow AI, он включает в себя однокамерный датчик структурированного света на основе технологии VCSEL от Lumentum с диапазоном 2 метра и датчик изображения 4K (8MP) RGB-IR CMOS от ON Semiconductor.

Ориентированный на интеллектуальные электронные дверные замки следующего поколения, или eLocks, как для коммерческих, так и для жилых помещений, эталонный дизайн Saturn является первым в отрасли AIoT, который интегрирует обработку ИИ как для однокамерного распознавания структурированного света, так и для быстрой загрузки видео.

Он основан на процессоре машинного зрения Ambarella CV25 CVflow AI и включает в себя камеру со структурированным светом, работающую на основе технологии VCSEL от Lumentum, и 2-мегапиксельный RGB-ИК-датчик изображения AR0237CS от ON Semiconductor.

Нацеленные на интеллектуальные сенсорные приложения и имеющие возможности для разных вертикалей, комплекты для разработки Ambarella CV2 серии CVflow AI на базе процессора машинного зрения теперь могут быть оснащены адаптерами датчиков ToF, которые работают на передовых массивах VCSEL от Lumentum. Для этих комплектов также доступен дополнительный адаптер датчика изображения 4K RGB-IR.

Открытый комплект разработки программного обеспечения (SDK) для процессоров машинного зрения Ambarella CVflow AI позволяет легко интегрировать сторонние приложения, позволяя OEM-производителям удовлетворять различные региональные требования с помощью единой платформы (например, используя разные алгоритмы искусственного интеллекта в разных регионах).

Кроме того, этот надежный SDK на базе Linux расширяет возможности устройств распознавания границ, упрощает разработку продуктов и ускоряет их вывод на рынок за счет:

• Возможности разработки пользовательских приложений
• Поддержка различных режимов 3D, включая структурированный свет и ToF. Уникально то, что одна однокристальная система Ambarella обеспечивает обработку 3D-датчиков без необходимости в выделенном процессоре глубины или отдельном хост-процессоре.
• Высокие возможности искусственного интеллекта на устройстве камеры, позволяющие одновременно работать нескольким нейронным сетям.
• Надежные инструменты искусственного интеллекта для поддержки разработки и миграции глубоких нейронных сетей
• Встроенный ISP для обработки сложных сцен, включая сцены с высоким динамическим диапазоном и низкой освещенностью.
• Встроенные процессоры Arm для запуска клиентских приложений.
• Встроенное оборудование для обеспечения безопасности, включая безопасную загрузку, одноразовый пароль для хранения ключей шифрования и технологию Arm TrustZone для безопасного сравнения ключей шифрования.
• Поддержка расширенных периферийных интерфейсов для упрощения проектирования систем.

Доступность

Ожидается, что эти совместные эталонные проекты и комплекты для разработки будут доступны в июне. Дополнительную информацию можно получить в Ambarella.