ИИ раскрывает невидимые объекты в полной темноте с помощью глубоких нейронных сетей

• Исследователи MIT используют глубокие нейронные сети для раскрытия невидимых объектов в полной темноте.
• Оно может визуализировать биологические клетки и ткани без воздействия на них вредных лучей и интенсивного света.

Большинство систем визуализации дают только искаженные или частичные данные об изображаемом объекте. Это происходит в основном из-за отсутствия фазовой информации, потери пространственных частот, шума в освещении и неизвестных рассеивателей в оптическом трейне.

За последние несколько пар лет техника машинного обучения под названием глубокие нейронные сети привлекла много внимания в области вычислительной визуализации. Она доказала себя эффективным решателем в множестве приложений, включая призрачную визуализацию, адаптивную оптику, адаптивную микроскопию освещения, фазовую ретриеву, оптическую томографию и недовыборочную визуализацию.

Впервые команда исследователей MIT использовала глубокие нейронные сети для решения когерентной проблемы фазовой ретриевы, затронутой высоким шумом на разных уровнях. Простым языком, они открыли метод раскрытия невидимых объектов в полной темноте.

Это сильно отличается от существующих ИИ-базированных техник «ночного режима», найденных в смартфоне Google Pixel 3, которые могут захватывать несколько шумных изображений и производить четкие фото, но им требуется немного света для начала. Техника MIT, с другой стороны, работает в полностью темной комнате. Ей требуется только один фотон на пиксель.

Как они это сделали?

Исследователи сначала захватили изображения целевых объектов в почти безупречно черных условиях. Затем они воссоздали прозрачные объекты из этих изображений. Для этого они использовали глубокие нейронные сети, обученные распознавать более 10 000 прозрачных стеклянных гравировок из темных, зернистых изображений, невидимых для человеческого глаза.

Источник: Physical Review Letters | doi:10.1103/PhysRevLett.121.243902 | MIT

Сами изображения, захваченные в темной комнате, казались статическим шумом, который вы могли видеть на телевизоре. Нейронные сети обучались на этих изображениях вместе с соответствующими паттернами под визуальным шумом.

Постепенно сеть научилась понимать визуальный шум. В конечном счете она сгенерировала размытые изображения. Чтобы сделать эти изображения более четкими, команда добавила слой, который может фокусировать выход.

По предоставлению исследователей

На изображении выше вы можете увидеть темное изображение (верхнее левое), которое сгенерировано из прозрачной гравировки (крайнее правое). Исследователи использовали физику-алгоритм, основанный на поведении света, для воссоздания объекта (верхнее правое). Техника машинного обучения создала довольно размытое изображение (нижнее левое). Они объединили оба физико-алгоритмический и машинно-обучающий подход для реконструкции наиболее точного изображения (нижнее правое) реального объекта/сцены.

Как это полезно?

ИИ может использоваться для освещения прозрачных признаков, таких как биологические клетки и ткани, в изображениях, захваченных с очень низким светом. Клетки могут быть легко сожжены или повреждены, если они подвергаются интенсивному свету, и тогда не останется ничего для визуализации. Также, когда пациенты подвергаются рентгеновским лучам, у них есть шансы развить рак.

Читайте также: Существует ли что-то под названием темные фотоны | Гипотетическая частица

Это исследование может помочь в таких случаях: исследователи сделали возможным получить то же качество изображения, подвергая клетки и ткани меньшему количеству фотонов. Это значительно снижает повреждение биологических образцов при их отборе. Более того, технология может предложить ряд потенциально полезных приложений в области астрономической визуализации.