ИИ удаляет шумы на изображениях без чистых обучающих данных

• Нейронные сети могут автоматически улучшать ваши фотографии без необходимости обучения тому, как выглядит фотография без шума.
• Его можно использовать в фотографии при слабом освещении, магнитно-резонансной томографии и физическом синтезе изображений. 

Было бы здорово, если бы вы могли делать фотографии при слабом освещении, с пикселями или зернистостью и удалять артефакты и шум без использования фотошопа. Новая модель машинного обучения может сделать то же самое, просто наблюдая за образцами поврежденных изображений.

Реконструкция сигнала на основе искаженных измерений является важной частью статистического анализа данных. В настоящее время мы наблюдаем большой интерес к отказу от традиционного статистического моделирования искажений сигналов благодаря недавним достижениям в методах машинного обучения.

Исследователи из Массачусетского технологического института, NVIDIA и Университета Аалто применили базовые статистические соображения для реконструкции сигналов с помощью нейронных сетей. Он учится восстанавливать сигналы, даже не глядя на чистые.

Он отличается от других современных методов или недавно разработанных ИИ, улучшающих изображения. В то время как другие методы машинного обучения в этой области направлены на обучение нейронной сети восстановлению фотографий, показывая как зашумленные, так и чистые изображения, для этого метода требуется только пара входных изображений с зернистостью или шумом.

Эта система искусственного интеллекта может автоматически улучшать ваши фотографии, не прибегая к обучению тому, как выглядит фотография без шума.

Обычные методы машинного обучения включают обучение модели регрессии, такой как сверточная нейронная сеть, с большими наборами данных, содержащими пары поврежденных входных данных (зашумленные изображения) и чистую цель (фиксированное изображение), а также снижение эмпирического риска.

С другой стороны, в этом методе чистые цели могут быть полностью удалены, если сеть может наблюдать каждое исходное изображение дважды. Его можно обучить исправлять изображения со значительным (50 процентов) выбросом содержимого. Иногда он превосходит модель, использующую чистые экземпляры. Более того, это менее затратная задача, чем получение чистой цели. 

Ссылка:arXiv:1803.04189 | NVIDIA

Для обучения сети на 50 000 изображений исследователи использовали графические процессоры NVIDIA Tesla P100 с платформой TensorFlow на базе библиотеки глубоких нейронных сетей CUDA.

Приложения

Существует множество реальных сценариев, в которых получение чистых обучающих данных является сложной задачей:получение изображений при слабом освещении, таких как астрономическая фотография, магнитно-резонансная томография и физически обоснованный синтез изображений.

Очевидно, что сеть не может научиться обнаруживать функции, которых нет во входных изображениях, но то же самое справедливо и для обучения с чистыми целями.

Пример реконструкции МРТ | С разрешения исследователей

Читайте:NVIDIA AI может конвертировать видео с частотой 30 кадров в секунду в 240 кадров в секунду

В этом исследовании исследователи начали со стандартного распределения шума (включая аддитивный гауссов шум) и продолжили более жесткий, аналитически трудноразрешимый шум Монте-Карло при синтезе изображений. Они также заметили, что реконструкцию изображения по субнайквистской спектральной выборке в МРТ (магнитно-резонансной томографии) можно научиться только на основе зашумленных изображений.