Нейронные Сети Учатся Удалять Шум, Не Видя Хорошего Изображения

Разве ты просто не ненавидишь зернистость пленки? За исключением, конечно, тех случаев, когда вы этого не делаете и устанавливаете его в качестве специального эффекта на свою цифровую камеру. Теперь у NVIDIA есть инструмент, который удалит зернистость, шум и всевозможные дефекты, и самое удивительное, что он научился это делать, не видя чистого изображения. Как?

С точки зрения машинного обучения это почти волшебно. Как вы можете научить нейронную сеть удалять шум из изображения, когда ей никогда не дают пример того, что такое чистое изображение. Другими словами, ему не дается цель, к которой он стремится. С точки зрения вычислительной фотографии или, в более общем плане, обработки сигналов, это больше, чем магия:

Мы наблюдаем, что при подходящих, обычных обстоятельствах мы можем научиться восстанавливать сигналы только из поврежденных примеров, никогда не наблюдая чистых сигналов,и часто делаем это так же хорошо, как если бы мы использовали чистые примеры.

Эта идея почти безумна по своей концепции, но ее корни уходят в использование простого среднего, или среднего, для оценки стоимости. Дело в том, что, хотя шум меняется между изображениями, изображение остается постоянным. Таким образом, обучая сеть, использующую только зашумленные изображения, сеть медленно учится производить среднее значение изображений.

Чтобы проиллюстрировать эту идею, команда взяла изображения из хорошо известной сети ImageNet и добавила к ним случайный шум. Затем они обучили нейронную сеть, используя только поврежденные изображения. То есть сеть пыталась воспроизвести поврежденное изображение, используя другое поврежденное изображение в качестве входных данных. Со временем он научился создавать среднюю или, возможно, более точно инвариантную часть изображения. Затем, когда отображается поврежденный образ, на котором он не был обучен, он создает очищенную версию.

Это работает гораздо лучше, чем вы могли бы разумно ожидать. Смотрите видео:

От простого гауссовского шума команда перешла к удалению более сложных типов искажений с изображений. В частности, они добились успеха в устранении особенно сложной формы шума — шума Монте — Карло, с которым другим методам приходится нелегко.

«Мы показали, что простые статистические аргументы приводят к удивительным новым возможностям в восстановлении изученных сигналов; можно восстанавливать сигналы при сложных повреждениях без наблюдения чистых сигналов, на уровнях производительности, равных или близких к использованию чистых целевых данных. Существует несколько реальных ситуаций, в которых получение чистых обучающих данных затруднено: фотография при слабом освещении (например,астрономическая визуализация), синтез изображений на физической основе и магнитно-резонансная томография.»

Это мощная идея — вы можете узнать структуру шума только по деградированным образцам. Пока вы можете получить несколько образцов шума, вам не нужен оригинал.

Есть ли здесь что-то более глубокое?