Max Home IndustryОборудование Kinect впечатляет, но как насчет программного обеспечения? Слежение за телом — давняя проблема компьютерного зрения — решена ли она наконец?
Когда вы рассматриваете устройство ввода всего тела Microsoft — Kinect — вы, как правило, сосредотачиваетесь на оборудовании. Что ж, это впечатляет — стандартная видеокамера и инфракрасная камера работают вместе, чтобы обеспечить карту глубины трехмерной сцены.
Однако программное обеспечение заслуживает упоминания, потому что его роль состоит в том, чтобы сегментировать карту глубины на объекты, а затем отслеживать объекты. В частности, он отслеживает человека в режиме реального времени без необходимости носить датчики, и это очень сложная задача, которая широко изучалась в рамках ИИ и компьютерного зрения.
Теперь выяснилось, что ключевое программное обеспечение было разработано исследовательской группой Microsoft Research Cambridge. Старый способ решения проблемы — создать аватар и попытаться найти совпадение в данных, предоставленных камерой. Отслеживание — это обновление совпадения путем перемещения аватара по мере изменения данных. Это было основой первого программного обеспечения Kinect, и оно не работало достаточно хорошо для коммерческого продукта. Примерно через минуту он терял след, а затем уже не мог его восстановить. Еще одна проблема заключалась в том, что он работал только с людьми того же размера и формы, что и разработчик системы — потому что это был размер и форма аватара, используемого для сопоставления.
В новом подходе, разработанном группой исследователей видения, используется машинное обучение. Они обучили систему обучения распознаванию частей тела. Затем это можно использовать для идентификации частей тела во входящем потоке данных с помощью графического процессора для каждого пикселя. Затем классификации объединяются по пикселям для получения гипотетических трехмерных положений суставов тела, используемых алгоритмом отслеживания скелета.
Объясняя это недавно, один из исследователей сказал:
«Мы обучаем систему с помощью обширного и разнообразного обучающего набора синтетических изображений, чтобы гарантировать, что система работает для всех возрастов, форм и размеров тела, одежды и прически. Во-вторых, распознавание не зависит от какой-либо временной информации, и это гарантирует что система может инициализироваться из произвольных поз и предотвращает катастрофическую потерю трека, впервые обеспечивая расширенный игровой процесс «.
Кто сказал, что ИИ никогда не выполняет своих обещаний! Также очевидно, что у такого подхода есть гораздо больше приложений, чем просто устройство ввода игры.