ИИ убирает шум с зашумленных изображений без чистых обучающих данных

• Нейронные сети могут автоматически улучшать ваши фото, никогда не обучаясь на том, как выглядит безшумное фото.
• Это можно использовать в фотографии при слабом свете, магнитно-резонансной томографии и физически-базированном синтезе изображений.

Не было бы здорово, если бы вы могли взять свои низкосветовые, пикселизированные или зернистые фото и убрать артефакты и шум без использования Photoshop. Новая модель машинного обучения может сделать то же, просто наблюдая образцы поврежденных изображений.

Реконструкция сигнала из поврежденных измерений — критически важная часть статистического анализа данных. В наши дни мы видим большой интерес в избегании конвенционального статистического моделирования повреждений сигналов из-за недавних достижений в техниках машинного обучения.

Исследователи MIT, NVIDIA и Альто университета применили базовое статистическое рассуждение к реконструкции сигнала с использованием нейронных сетей. Она учится восстанавливать сигналы, никогда не глядя на чистые.

Это отличается от других современных методов или недавно разработанных ИИ для улучшения изображений. Пока другие техники машинного обучения в этой сфере фокусируются на обучении нейронной сети восстановлению фото путем показа и зашумленных, и чистых картинок, этот метод требует только пару входных изображений с зерном или шумом.

Эта система искусственного интеллекта может автоматически улучшать ваши изображения, никогда не обучаясь на том, как выглядит безшумное фото.

Конвенциональные техники машинного обучения включают обучение регрессионной модели вроде сверточной нейронной сети с большими датасетами, содержащими пары поврежденных входов (зашумленные изображения) и чистых целей (исправленное изображение), и уменьшение эмпирического риска.

С другой стороны, в этом методе чистые цели могут быть полностью устранены, до тех пор пока сеть способна наблюдать каждое исходное изображение дважды. Её можно обучать исправлять изображения со значительным (50 процентов) контентом выбросов. Иногда она превосходит модель, использующую чистые образцы. Более того, это менее затратная задача, чем получение чистой цели.

Ссылка: arXiv:1803.04189 | NVIDIA

Для обучения сети на 50 000 изображениях исследователи использовали GPU NVIDIA Tesla P100 с фреймворком TensorFlow, работающим на библиотеке CUDA глубокой нейронной сети.

Применения

Существует множество реальных сценариев, где получение чистых обучающих данных — сложная задача: низкосветовая визуализация вроде астрономической фотографии, магнитно-резонанская томография и физически-базированный синтез изображений.

Очевидно, сеть не может научиться выхватывать признаки, которых нет во входных изображениях, но то же верно для обучения с чистыми целями.

Пример реконструкции МРТ | По материалам исследователей

Читайте также: ИИ NVIDIA может конвертировать видео 30fps в 240fps

В этом исследовании исследователи начали со стандартного распределения шума (включая аддитивный гауссовский шум), и продолжили к более сложным, аналитически неразрешимым шумам Монте-Карло в синтезе изображений. Они также наблюдали, что реконструкция изображения от суб-Найквистовой спектральной выборки в МРТ (магнитно-резонанская томография) может быть обучена только от зашумленных изображений.