Max Home IndustryПрограммная стабилизация видео-отличный способ избежать того, чтобы ваши зрители чувствовали себя плохо во время просмотра вашего творения, но при правильном алгоритме она также может обеспечить движения камеры, которые использовал бы великий режиссер. Это не теоретический прогресс, он используется сейчас на YouTube.
Иногда вы находите видео, которое действительно интересно, но просмотр его вызывает рвоту из-за отсутствия внимания к тому, чтобы держать камеру неподвижной. Это особая проблема для обычных видеографов, потому что они не используют тяжелые штативы, тележки и устойчивые камеры, используемые профессионалами. Даже размер типичной видеокамеры, часто просто мобильного телефона, работает против устойчивой точки зрения, поскольку ее низкая масса подпрыгивает в руке. Вы когда-нибудь снимали видео во время прогулки? Если у вас есть, вы будете знать регулярные движения вверх и вниз, которые вызывают укачивание у любого зрителя.
Хорошо — пришло время что-то с этим сделать, и решением является программная стабилизация видео.
Да, вы можете потратить свое время, пытаясь сделать оригинал лучше, но зачем беспокоиться, когда программное обеспечение может выполнить эту работу и превратить вас в качественного видеографа. Учитывая, что стабилизация сводится к виртуальной повторной съемке видео, почему бы не использовать принципы великих режиссеров?
Google Research разработала алгоритм, который может стабилизировать видео после его загрузки, используя новый путь камеры, соответствующий принципам большой кинематографии.
Любой алгоритм стабилизации должен следовать трем довольно очевидным, но трудным для реализации шагам.
Во — первых, траектория камеры оценивается по изображениям
Во-вторых, разработайте новый плавный путь камеры
В-третьих, обработайте изображения так, чтобы они соответствовали новому пути.
Как только у вас появится новый путь, самый простой способ преобразовать видео-это переместить кадр обрезки, немного меньший, чем исходное видео, вдоль пути.
Кадрирующую рамку можно увидеть в нижнем ряду, движущемся по оптимальному пути
Единственная проблема возникает, если кадр обрезки перемещается за пределы оригинала. Затем вам придется либо изобретать новый материал, чтобы заполнить недостающие части рамы, либо мириться с пустыми краями.
Ключевым прорывом в новом алгоритме является построение плавного пути, который пытается включить кинематографические принципы. Сначала оценивается траектория камеры, и она разбивается на сегменты, соответствующие постоянным, линейным и параболическим траекториям. Предполагается, что они соответствуют традиционным траекториям камеры, используемым наиболее опытными режиссерами:
С кинематографической точки зрения наиболее приятные впечатления от просмотра передаются с помощью статических камер, панорамирующих камер, установленных на штативах, или камер, установленных на тележке. Изменения между этими типами выстрелов могут быть получены путем введения резких или рывковых переходов, т. е. избегания резких изменений ускорения.
Как только вы поймете, что параболический путь-это путь постоянного ускорения, вы увидите, что разделение пути таким образом дает вам лучшее приближение к тому, что мог бы сделать опытный режиссер.
Хорошая идея, но как это сделать?
Предлагаемый плавный путь должен достаточно хорошо соответствовать фактическому пути, иначе будет невозможно «переснять» видео без того, чтобы кадр обрезки не вышел из кадра и не появились пустые границы. Используемый метод находит оптимальное разделение фактического пути путем выполнения ограниченной оптимизации. Ограничения заключаются в том, чтобы сохранить кадр обрезки внутри кадра — таким образом, избегая проблемы пустых краев — и быть как можно ближе к исходному пути. Кроме того, можно также добавить ограничения «заметности», которые настаивают на том, чтобы важные объекты, такие как лица, плавно перемещались в кадре.
Алгоритм, использующий общий подход линейного программирования, достаточно гибок, чтобы включать в себя ряд новых ограничений. Например, если кадр имеет размытие движения, то перемещение камеры в направлении этого размытия делает результат лучше.
Если вы хотите опробовать алгоритм, вы можете в видеоредакторе YouTube. И посмотрите это в действии в видео ниже:
Предварительный просмотр в реальном времени создается с использованием распределенной обработки на аппаратном обеспечении Google. Единственный параметр, который вы можете настроить, — это размер окна обрезки. Чем меньше окно обрезки, тем больше свободы у алгоритма для поиска стабилизированного пути, который остается внутри изображения. Конечно, меньшее окно обрезки уменьшает то, что вы можете видеть. Результирующий путь является оптимальным для выбранного окна обрезки, но предполагается, что это тоже можно добавить к оптимизации.
Дополнительная информация
Автоматическая направленная стабилизация видео с надежными оптимальными траекториями камеры L1
Если вы хотите получать информацию о новых статьях на I Programmer, вы можете либо следить за нами в Twitter или Facebook, либо подписаться на нашу еженедельную рассылку.