Струйно-печатный портативный мультиспектральный 3D светополевой камерный снимок открывает передовые приложения визуализации

Optica, Вашингтон, округ Колумбия

Исследователи использовали струйную печать для создания мультиспектральной версии светополевой камеры, которая помещается в ладони. 3D-камера может быть полезна для таких приложений, как автономное вождение, классификация перерабатываемых материалов и дистанционное зондирование. (Изображение: Maximilian Schambach, Karlsruhe Institute of Technology)

Одновременный захват 3D и спектральных данных

Исследователи использовали струйную печать для создания компактной мультиспектральной версии светополевой камеры. Камера, помещающаяся в ладони, может быть полезна для множества приложений, включая автономное вождение, классификацию перерабатываемых материалов и дистанционное зондирование.

3D спектральная информация может быть полезна для классификации объектов и материалов; однако захват 3D пространственной и спектральной информации со сцены обычно требует множества устройств или временно-затратных процессов сканирования. Эта новая светополевая камера решает проблему, одновременно приобретая 3D информацию и спектральные данные в одном снимке.

«Насколько нам известно, это самая передовая и интегрированная версия мультиспектральной светополевой камеры», — сказал лидер исследовательской команды Ули Леммер из Карлсруэского института технологий в Германии. «Мы объединили ее с новыми методами ИИ для реконструкции глубины и спектральных свойств сцены, чтобы создать передовый сенсорный систем для приобретения 3D информации».

В журнале Optics Express исследователи сообщают, что новая камера и методы реконструкции изображения могут использоваться для различения объектов на сцене на основе их спектральных характеристик. Использование струйной печати для изготовления ключевых оптических компонентов камеры позволяет легко настраивать или производить их в больших объемах.

«Реконструированные 3D данные из изображений камеры находят широкое применение в виртуальной и дополненной реальности, автономных автомобилях, робототехнике, умных домашних устройствах, дистанционном зондировании и других приложениях», — сказал Михаэль Хайцманн, член исследовательской команды. «Эта новая технология может, например, позволить роботам лучше взаимодействовать с людьми или улучшить точность классификации и разделения материалов в переработке. Она также потенциально может быть использована для классификации здоровых и больных тканей».

Технология струйной печати оптики

Светополевые камеры, также называемые пленоптическими камерами, — специализированные образовательные устройства, захватывающие направление и интенсивность лучей света. После приобретения изображения вычислительная обработка используется для реконструкции 3D информации изображения из полученных данных. Эти камеры обычно используют микролинзовые массивы, выровненные с пикселями высокодетального камерного чипа.

Для создания мультиспектральной светополевой камеры исследователи использовали струйную печать для отложения одной капли материала для формирования каждой отдельной линзы на одной стороне ультратонких микробиологических слайдов и затем печатают полностью выровненные цветовые фильтры на противоположной стороне слайдов. Полученный оптический компонент интегрирован непосредственно на CMOS камерный чип. Метод струйной печати позволил точное выравнивание между оптическими компонентами, значительно снижая сложность производства и повышая эффективность.

Поскольку эта установка производит спектральную и глубинную информацию, переплетенную в изображении камеры, исследователи разработали методы для разделения каждого компонента. Они обнаружили, что подход, основанный на глубоком обучении, лучше всего работает для извлечения желаемой информации непосредственно из полученных измерений.

«Преодоление вызова создания мультиспектральной светополевой камеры было возможно только путем объединения недавних достижений из производства, системного дизайна и ИИ-базированной реконструкции изображения», — сказала Цяошуан Чжан, первый автор статьи. «Эта работа проталкивает границы струйной печати — универсального метода с высокой точностью и промышленной масштабируемостью — для производства фотонных компонентов».

Тестирование и перспективы

Исследователи протестировали камеру, записывая тестовую сцену, содержащую многоцветные 3D объекты на разных расстояниях. Алгоритм реконструкции изображения обучался и тестировался на множестве синтетических и реальных мультиспектральных изображений. Результаты демонстрируют, что прототип камеры может одновременно приобретать 3D пространственную и спектральную информацию и что разные объекты могут быть проображены и различены по их различному спектральному составу и информации о глубине в одном снимке.

Теперь, когда они завершили этот первый доказательство концепции, исследователи исследуют различные приложения, где светополевая камера с способностью приобретать мультиспектральную информацию может быть полезна.

Для дополнительной информации свяжитесь с This email address is being protected from spambots. You need JavaScript enabled to view it..