Анимация лица в реальном времени

Со времен Photoshop вы не могли доверять неподвижной фотографии. Теперь, похоже, вы не можете доверять видео. Захват и реконструкция лица в режиме реального времени позволяет одному лицу контролировать другое, так что вы можете заставить любого сказать что угодно с любым выражением лица, которое вы хотите изобразить. 

Раньше существовали системы реконструкции лица, см. Создание вашего Любимого актера Из ничего, кроме фотографий, но это первый случай, когда есть возможность вложить слова в рот другого человека и выражение его лица.

Система работает, принимая видеопоток с изображением целевого человека и изменяя его в зависимости от выражения лица исходного актера. Таким образом, если исходный актер улыбается, человек в целевом видеопотоке улыбается — даже если он не улыбался в реальном видеопотоке.

Самый простой способ полностью понять, что это значит и какой потенциал это может иметь, — посмотреть следующее видео. Обратите внимание, что выражения исходного актера отображаются на цели в видео реконструкции.

Что впечатляет, так это то, что он работает в режиме реального времени с дешевой камерой. Способ, которым это работает, довольно прост — обнаружить лицо и черты в видео исходного актера и в целевом видео, а затем исказить черты лица цели, чтобы они соответствовали чертам исходного актера. Легко объяснить, но очень трудно сделать хорошо. 

Учитывая некоторые предметы, использованные в видео в качестве испытуемых — президент Путин, Дональд Трамп, президент Обама и так далее, — вы можете начать представлять, для каких целей может быть использована система.

Хотите изменить политическую речь?

Очень просто.  

Конечно, есть более полезные приложения для такого рода технологий. Вы можете переиздавать фильмы на разных языках, и актеры, похоже, произносят новый диалог. Возможно, было бы даже лучше, чтобы актеры выполняли эту работу, не говоря ни слова ни на каком языке, а затем добавили диалог позже. Вы также можете исправить ошибки актеров в дорогостоящих постановочных трюках.  

Раньше был народный закон, что камера никогда не лжет.

Теперь видеокамеры могут присоединиться к неподвижным камерам в роли отличных лжецов.