Max Home IndustryЕще одно новое применение вычислительной фотографии позволяет восстановить изображение, которое было отражено грубым блестящим объектом — скажем, покрытой блестками поверхностью.
Это классическое применение теории обработки сигналов. Сигнал был преобразован так, что его нельзя использовать. Чтобы восстановить сигнал в исходное состояние, все, что вам нужно, — это обратное преобразование. Конечно, дьявол всегда кроется в деталях, и заставить работать такие простые схемы, как правило, гораздо сложнее, чем кто-либо когда-либо ожидал.
В этом случае трансформация-это не то, что вы могли бы назвать трансформацией. Если у вас есть изображение, просматриваемое отражением от «блестящей» поверхности — более технически содержащей зеркальные грани со случайной ориентацией, — то вы увидите размытую тень оригинала. Это не является необоснованным, поскольку лучи, которые должны были достичь вашего глаза или камеры, были случайным образом отражены поверхностью. Изображение было скремблировано.
Чтобы расшифровать изображение, все, что вам нужно, — это обратное преобразование, и недавняя статья Чжэндуна Чжана, Филиппа Изолы и Эдварда Х. Адельсона из Массачусетского технологического института объясняет, как его получить.
Подытожим основные моменты
Если изображение отражается от плоского зеркала, лучи попадают туда, где они должны быть, чтобы сформировать изображение.
Если, однако, изображение отражается от «разбитого зеркала», они прибывают в разные места.
Ключевое наблюдение заключается в том, что вы можете рассматривать эффект как линейное преобразование изображения.
Чтобы создать обратное преобразование, вам нужно исследовать систему, отображая тестовые изображения и видя, каков результат. Из этих данных вы можете понять, как поверхность скремблирует лучи, и получить обратную величину. Например, если тестовое изображение представляет собой одну точку света, то оно будет отражаться от небольшого числа случайных зеркал и создавать изображение с небольшим количеством ярких пятен. Это дает вам прямое преобразование для этого пикселя, и из этого вы можете вывести обратное. Повторите это для всех пикселей на изображении, и у вас будет полная обратная картина.
Фактический метод использует множество тестовых изображений, которые включают каждый пиксель более одного раза, чтобы минимизировать случайный шум. Обратное преобразование найдено с помощью ограниченного метода наименьших квадратов.
Так это работает?
При хороших условиях это, кажется, работает.
Есть одна большая проблема с этим методом, и она заключается в том, что он чувствителен к смещению. Даже смещение тестового изображения на один пиксель значительно ухудшает реконструкцию.
Это может показаться невозможным в некоторых ситуациях, но, как отмечают исследователи, вы можете искать лучшее изображение, реконструируя его с различными сдвигами. Это может быть даже полезным способом обнаружения небольших движений. Также предполагается, что отражения могут быть использованы в качестве камеры светового поля для захвата некоторой 3D — информации-как именно будет работать будущая работа.
Существуют ли какие-либо практические применения этой техники в ее нынешнем виде?
Ясно, что его можно использовать для наблюдения. Кто бы мог подумать, что блестящий шар или зеркало могут раскрыть детали того, что происходит в комнате. Калибровка, необходимая для восстановления изображения, может быть выполнена до или после завершения слежки.