Портативная мультиспектральная 3D-камера светового поля со струйной печатью открывает возможности для передовых приложений для обработки изображений

Оптика, Вашингтон, округ Колумбия.

Исследователи использовали струйную печать для создания мультиспектральной версии камеры светового поля, которая умещается на ладони. 3D-камера может быть полезна для таких приложений, как автономное вождение, классификация вторсырья и дистанционное зондирование. (Изображение:Максимилиан Шамбах, Технологический институт Карлсруэ)

Исследователи использовали струйную печать для создания компактной мультиспектральной версии камеры светового поля. Камера, умещающаяся на ладони, может оказаться полезной во многих приложениях, включая автономное вождение, классификацию вторсырья и дистанционное зондирование.

Трехмерная спектральная информация может быть полезна для классификации объектов и материалов; однако для захвата трехмерной пространственной и спектральной информации из сцены обычно требуется несколько устройств или трудоемкие процессы сканирования. Эта новая камера светового поля решает эту проблему, одновременно получая трехмерную информацию и спектральные данные за один снимок.

«Насколько нам известно, это самая продвинутая и интегрированная версия мультиспектральной камеры светового поля», — сказал руководитель исследовательской группы Ули Леммер из Технологического института Карлсруэ в Германии. «Мы объединили его с новыми методами искусственного интеллекта для восстановления глубины и спектральных свойств сцены, чтобы создать усовершенствованную сенсорную систему для получения 3D-информации».

В журнале Оптика Экспресс Исследователи сообщают, что новые методы реконструкции камеры и изображения можно использовать для различения объектов в сцене на основе их спектральных характеристик. Использование струйной печати для изготовления ключевых оптических компонентов камеры позволяет легко модифицировать ее или производить в больших объемах.

«Реконструированные 3D-данные из изображений с камер находят широкое применение в виртуальной и дополненной реальности, автономных автомобилях, робототехнике, устройствах умного дома, дистанционном зондировании и других приложениях», — сказал Майкл Хейцманн, член исследовательской группы. "Эта новая технология может, например, позволить роботам лучше взаимодействовать с людьми или повысить точность классификации и разделения материалов при переработке. Ее также потенциально можно использовать для классификации здоровых и больных тканей".

Камеры светового поля, также называемые пленоптическими камерами, представляют собой специализированные устройства формирования изображений, которые фиксируют направление и интенсивность световых лучей. После получения изображения вычислительная обработка используется для восстановления информации трехмерного изображения на основе полученных данных. В этих камерах обычно используются массивы микролинз, совмещенные с пикселями чипа камеры высокого разрешения.

Чтобы создать мультиспектральную камеру светового поля, исследователи использовали струйную печать, чтобы нанести одну каплю материала для формирования каждой отдельной линзы на одной стороне ультратонких предметных стекол микроскопа, а затем напечатали полностью выровненные массивы цветных фильтров на противоположной стороне предметных стекол микроскопа. Полученный оптический компонент был интегрирован непосредственно в CMOS-чип камеры. Метод струйной печати позволил точно совместить оптические компоненты, что значительно снизило сложность производства и повысило эффективность.

Поскольку эта установка выдает информацию о спектре и глубине, которая переплетается с изображением камеры, исследователи разработали методы разделения каждого компонента. Они обнаружили, что подход, основанный на глубоком обучении, лучше всего работает для извлечения нужной информации непосредственно из полученных измерений.

«Решение задачи создания мультиспектральной камеры светового поля стало возможным только путем объединения последних достижений в области производства, проектирования систем и реконструкции изображений на основе искусственного интеллекта», — сказал Цяошуан Чжан, первый автор статьи. «Эта работа расширяет границы струйной печати — универсального метода с высокой точностью и промышленной масштабируемостью — для производства фотонных компонентов».

Исследователи протестировали камеру, записав тестовую сцену, содержащую многоцветные 3D-объекты на разных расстояниях. Алгоритм реконструкции изображения был обучен и протестирован на множестве синтетических и реальных мультиспектральных изображений. Результаты показывают, что прототип камеры может одновременно получать трехмерную пространственную и спектральную информацию, а также что различные объекты можно отображать и различать по различному спектральному составу и информации о глубине в одном снимке.

Теперь, когда они завершили эту первую проверку концепции, исследователи изучают различные приложения, в которых может быть полезна камера светового поля, способная получать мультиспектральную информацию.

Для получения дополнительной информации обращайтесь:Этот адрес электронной почты защищен от спам-ботов. Для просмотра у вас должен быть включен JavaScript.