Max Home IndustryЧто вы получите, если соберете команду исследователей, музыкальное видео прогрессивной электронной группы и десятки тысяч ее поклонников?
Если вы пытаетесь научить компьютер распознавать объект как человека, вы должны решить проблему, состоящую в том, что изменение уровня освещенности, беспорядок на заднем фоне или странная одежда могут запутать ситуацию. Это сложная и трудоемкая задача.
Использование музыкального видео может не прийти в голову как способ решения этой проблемы, но группа исследователей из Института математических наук Куранта Нью-Йоркского университета сделала именно это.
В клипе прогрессивно-электро группы C-Mon & Kypski на песню «More or Less» используются отдельные кадры от тысяч фанатов (на данный момент более 32000), все они имитируют группу с помощью снимка с их веб-камеры. В рамках краудсорсингового проекта группы One Frame of Fame фанатам показывается один кадр из видео и предлагается имитировать позу, снимать его на свою веб-камеру и загружать на сайт. Затем вклад добавляется в видео, и обновленная версия отображается каждый час.
Это означает, что на видео показаны тысячи разных людей, которые позируют одинаково при разных условиях освещения и фона — именно это и искали исследователи из Института Куранта.
Грэм Тейлор, научный сотрудник Института Куранта, объяснил:
«Если бы у нас было много примеров людей в одинаковых позах, но в разных условиях, мы могли бы построить алгоритм, который соответствует на основе позы и игнорирует отвлекающую информацию — освещение, одежду и фон».
Исследователи поняли, что видео идеально подойдет для их нужд:
«Это оказалось идеальным источником данных для разработки алгоритма, который учится вычислять сходство на основе позы».
Исследовательская группа, в которую входят курантские профессора Крис Бреглер и Роб Фергус, а также докторант Ян Спиро, представит свои выводы на 24-й конференции IEEE по компьютерному зрению и распознаванию образов (21-23 июня) в Колорадо-Спрингс. Документ доступен здесь: http://movement.nyu.edu/imitation.