Видите Невидимое Движение, Слышите Тихие Звуки? Жутко?

Вычислительная фотография предоставляет всевозможные хитрые трюки, но сколько из них на самом деле полезны? В этом выступлении на TED Майкл Рубинштейн объясняет «микроскоп движения», который, возможно, действительно полезен.

Идея использования вычислительной фотографии для создания наблюдения, очевидно, хороша — подумайте о супергерое. Вы можете сделать простое видеоизображение и с помощью обработки изображений увеличить изменения цвета, чтобы увидеть, как пульс меняет цвет лица человека. 

Переходя от увеличения цвета к увеличению движения, диапазон вещей, которые вы можете видеть, увеличивается. Вы получаете взгляд на мир, который является странным и новым — точно так же, как эффект оптического микроскопа, увеличивающего невидимый мир очень крошечного. Включите увеличитель движения на спящего ребенка, и его дыхание станет преувеличенным. Посмотрите на что-то, производящее звук, и вы увидите, как оно движется. Это забавно, но — и это немного более зловеще — вы также можете извлечь звук из движения. Таким образом, теперь у нас есть возможность узнать, что говорят люди, не устанавливая микрофоны. Все, что вам нужно сделать, это измерить движение растений или какого-либо другого объекта в той же комнате, и вы сможете услышать, что говорят люди.

 Посмотрите видео, а затем прочитайте о том, как это работает:

Исследователи из MIT CSAIL и Quanta Research Cambridge, MA применили очень фундаментальные методы обработки изображений — пространственную декомпозицию и временную фильтрацию — к стандартному видео, чтобы показать детали, которые обычно требуют дорогостоящего специального оборудования для просмотра.

Фильтр усиливает цветовые вариации, а также истинное физическое движение и может выявить особенности, которые обычно находятся ниже уровня шума видео и системы восприятия человека вместе взятых. Удивительная часть истории заключается в том, что используемые методы являются стандартными алгоритмами фильтрации, которые могли быть применены к этой проблеме много лет назад.

Если вы заинтересованы в том, чтобы попробовать это, вы можете загрузить программное обеспечение и выяснить, можете ли вы увидеть что — то, что в противном случае было бы невидимым, включая то, что люди могут говорить и не хотят, чтобы вы слышали.