Max Home IndustryMicrosoft Research описала метод эффективного удаления встряски из видео от первого лица и сгущения их, чтобы они были действительно интересными.
В настоящее время проводится SIGGRAPH, и на выставке демонстрируется множество потрясающих графических и графических методов. У Microsoft есть один, который снимает встряску с видео, снятого камерами с точки зрения, такими как GoPro или даже Google Glass — после того, как оно было снято. Вам не нужна стедикамера или какая — либо стабилизация в камере-весь процесс происходит как стадия постобработки.
Проблема в том, что видео от первого лица, как правило, длинные, и большую часть времени ничего особенного не происходит. Вы можете получить краткое описание действия, ускорив частоту кадров, но это усиливает эффект дрожания камеры и делает все это недоступным для просмотра по другой причине.
То, что сделала команда Microsoft, заключается в том, чтобы найти способ ускорить видео и удалить дрожание камеры таким образом, чтобы создать плавное просматриваемое видео, называемое hyperlapse.
Взгляните на результат:
Так как же это делается?
Ответ звучит как перебор. Сначала алгоритм строит траекторию 3D-камеры. Из-за типичного беспорядочного движения вида камеры от первого лица это, как правило, очень нерегулярно. Следующий шаг — найти плавный путь, максимально приближенный к реальному пути. Виртуальная камера должна не только двигаться по траектории, близкой к реальной, но и указывать в направлении, близком к реальной камере. Алгоритм камеры использует структуру из движения для создания разреженного трехмерного облака точек объектов в каждом кадре. Это позволяет определить положение камеры таким образом, чтобы можно было идентифицировать объекты в разных кадрах.
Затем для каждого кадра вычисляется прокси-геометрия, которая используется для визуализации кадров из новых точек обзора на оптимизированном пути. Окончательное видео создается с помощью нескольких кадров и их объединения путем сшивания, смешивания и рендеринга в новую точку обзора.
Следующее видео дает хороший обзор метода и того, как все это сочетается:
Вы можете прочитать подробности в полной статье, и я признаю, что я пропустил много тонких шагов, которые приводят к окончательным видеороликам с гиперлапсом, которые так хорошо работают. Что действительно удивительно, так это объем вычислений, которые входят в этот процесс. Требуется час вычислений, чтобы выполнить движение к структуре для пакета из 1400 видеокадров. Тем не менее, команда надеется оптимизировать вычисления и планирует создать приложение для Windows.
Поэтому, если у вас есть GoPro или аналогичная камера с видом от первого лица, и вы хотите, чтобы люди смотрели ваши скучные видео, вам нужно дождаться этого приложения. Я предполагаю, что некоторые из них все равно окажутся скучными после того, как они будут гиперпространственными!