Продвинутая система зрения пробивает облака и туман, раскрывая скрытые 3D-сцены

Используя аппаратное обеспечение, похожее на то, что позволяет автономным автомобилям «видеть» мир вокруг них, исследователи разработали систему, которая может видеть сквозь облака и туман. Они улучшили систему алгоритмом, который может реконструировать трехмерные скрытые сцены на основе движения отдельных частиц света, или фотонов. В тестах система успешно реконструировала формы, скрытые 1-дюймовой пеной. Для человеческого глаза это как видеть сквозь стены.

Эта техника дополняет другие системы зрения, которые могут видеть сквозь барьеры на микроскопическом масштабе — для приложений в медицине — потому что она более фокусируется на крупномасштабных ситуациях, таких как навигация самоуправляемых автомобилей в тумане или сильном дожде и спутниковая визуализация поверхности Земли и других планет через дымчатую атмосферу.

Чтобы видеть сквозь среды, рассеивающие свет, система сочетает лазер с ультрачувствительным фотонным детектором, записывающим каждый бит лазерного света, попавший на него. Когда лазер сканирует препятствие вроде стены из пены, случайный фотон может пройти через пену, ударить в объекты, скрытые за ней, и пройти обратно через пену, чтобы достичь детектора. Алгоритмически поддерживаемое программное обеспечение затем использует эти немногие фотоны — и информацию о том, где и когда они попали в детектор — для реконструкции скрытых объектов в 3D.

Это не первая система со способностью раскрывать скрытые объекты через рассеивающие среды, но она обходит ограничения, ассоциированные с другими техниками; например, некоторые требуют знания о том, насколько далеко объект интереса. Также обычно эти системы используют только информацию от баллистических фотонов, которые путешествуют к и от скрытого объекта через рассеивающее поле, но без фактического рассеяния по пути.

Чтобы сделать их алгоритм поддающимся сложностям рассеяния, исследователям пришлось тесно ко-дизайнить их аппаратное и программное обеспечение, хотя аппаратные компоненты, которые они использовали, только слегка более продвинуты, чем те, что сейчас находятся в автономных автомобилях. В зависимости от яркости скрытых объектов, сканирование в их тестах занимало от одной минуты до одного часа, но алгоритм реконструировал скрытую сцену в реальном времени и мог работать на ноутбуке.

Когда-нибудь потомок этой системы мог быть отправлен через космос к другим планетам и лунам, чтобы помочь видеть сквозь ледяные облака к более глубоким слоям и поверхностям. В более ближайшей перспективе исследователи хотели бы экспериментировать с разными рассеивающими средами для симуляции других обстоятельств, где эта технология могла бы быть полезна.