Отслеживание лица и анимация в реальном времени

Видео с выставки SIGGRAPH 2014 представляет полностью автоматический подход к отслеживанию лица и анимации в реальном времени, который не требует калибровки для разных людей и кажется подходящим для развертывания в приложениях потребительского уровня. Посмотрите видео, чтобы оценить, насколько хорошо можно заставить аватар следовать за вашим выражением лица.

Это исследование было проведено Лабораторией графических и параллельных систем Чжэцзянского университета, Китай. Что впечатляет в демонстрации, так это то, что вместо камеры RGBD, такой как Kinect, она использует одну «обычную» видеокамеру (веб-камеру), которая широко доступна на ПК и мобильных устройствах.
Вам нужно увидеть видео с ним в действии, чтобы оценить, насколько он хорош и как его можно использовать для реализации аватаров, виртуальной реальности, телеприсутствия и так далее …

Процитируем статью «Регрессия смещенного динамического выражения для отслеживания и анимации лица в реальном времени», авторами которой являются Чэнь Цао, Цимин Хоу и Кун Чжоу, использовался автоматический подход:
изучает общий регрессор из общедоступных наборов данных изображений, который может быть применен к любому пользователю и произвольным видеокамерам для вывода точных двумерных ориентиров на лице, а также трехмерной формы лица из двумерных видеокадров, при условии, что личность пользователя не меняется между кадрами. Затем предполагаемые двумерные ориентиры используются для адаптации матрицы камеры и идентификатора пользователя для лучшего соответствия выражениям лица текущего пользователя. Регрессия и адаптация выполняются попеременно, эффективно создавая петлю обратной связи. Поскольку в видео наблюдается все больше и больше выражений лица, весь процесс быстро сводится к точному отслеживанию лица и анимации.

(нажмите, чтобы увеличить)

Как показано на схеме рабочего процесса выше, в процессе используется алгоритм на основе регрессии с моделью DDE (смещенное динамическое выражение), которая одновременно представляет трехмерную форму выражения лица пользователя и двухмерные ориентиры лица, которые соответствуют семантическим чертам лица в видеокадрах. . На этапе адаптации DEM (Dynamic Expression Model) матрица камеры корректируется для текущих пользователей, что устраняет необходимость в калибровке.