Исследователи используют LED-освещение комнаты и смартфон для захвата 3D-изображений

По мере того как LED заменяют традиционные системы освещения, они привносят больше умных возможностей в повседневное освещение. В то время как вы можете использовать свой смартфон для затемнения LED-освещения дома, исследователи зашли дальше, используя динамически управляемые LED для создания простой системы освещения для 3D-визуализации.

Исследователи продемонстрировали, что 3D-оптическая визуализация может выполняться с мобильным телефоном и LED без необходимости каких-либо сложных ручных процессов синхронизации камеры с освещением.

«Внедрение умной системы освещения в помещении позволяет любой камере в комнате использовать свет и извлекать 3D-информацию из окружающей среды», — сказала Эмма Ле Франкуа. «LED исследуются для множества различных приложений, таких как оптическая коммуникация, позиционирование видимым светом и визуализация. Однажды умная система LED-освещения, используемая для освещения внутреннего пространства, может использоваться для всех этих приложений одновременно».

Человеческое зрение полагается на мозг для реконструкции информации о глубине, когда мы смотрим на сцену с двух слегка разных направлений нашими двумя глазами. Информация о глубине также может быть получена с использованием метода, называемого фотометрическим стереоизображением, в котором один детектор, или камера, сочетается с освещением, идущим из нескольких направлений. Эта настройка освещения позволяет записывать изображения с разным затенением, которые затем могут быть использованы для реконструкции 3D-изображения.

Фотометрическое стереоизображение традиционно требует четырех источников света, таких как LED, которые развернуты симметрично вокруг оси обзора камеры. В новой работе исследователи показывают, что 3D-изображения также могут быть реконструированы, когда объекты освещены сверху вниз, но снимаются сбоку. Эта настройка позволяет использовать потолковое освещение комнаты для освещения.

Исследователи разработали алгоритмы, которые модулируют каждый LED уникальным образом. Это действует как отпечаток пальца, позволяя камере определить, какой LED сгенерировал какое изображение, для облегчения 3D-реконструкции. Новый подход модуляции также несет свой тактовый сигнал, так что захват изображения может быть самосинхронизирован с LED путем пассивного обнаружения тактового сигнала LED камерой.

Для демонстрации этого нового подхода исследователи использовали свою схему модуляции с фотометрической стерео-установкой на основе коммерчески доступных LED. Простая плата Arduino обеспечивала электронное управление LED. Изображения захватывались с использованием режима высокоскоростного видео смартфона. Они сфотографировали фигурку высотой 48 мм, которую 3D-напечатали из матового материала, чтобы избежать любых блестящих поверхностей, которые могли бы усложнить визуализацию.

После определения лучшей позиции для LED и смартфона исследователи достигли ошибки реконструкции всего 2,6 мм для фигурки при съемке с расстояния 42 см. Этот уровень ошибки показывает, что качество реконструкции сравнимо с качеством других подходов фотометрического стереоизображения. Они также смогли реконструировать изображения движущегося объекта и показали, что метод не подвержен влиянию окружающего света.

В текущей системе реконструкция изображения занимает несколько минут на ноутбуке. Чтобы сделать систему практической, исследователи работают над сокращением вычислительного времени до всего нескольких секунд за счет включения нейронной сети глубокого обучения, которая научилась бы реконструировать форму объекта из сырых данных изображения.