MonoEye: система захвата движения человека с использованием одной носимой камеры.

Исследователи из Токийского технологического института (Tokyo Tech) и Университета Карнеги-Меллона совместно разработали новую систему захвата движений человека, которая состоит из одной сверхширокой камеры «рыбий глаз», установленной на груди пользователя. Простота их системы может способствовать широкому спектру приложений в спортивной, медицинской и развлекательной сферах.

Технологии на основе компьютерного зрения стремительно развиваются благодаря недавним разработкам в области интеграции глубокого обучения. В частности, захват движения человека — это очень активная область исследований, которая способствует достижениям, например, в робототехнике, компьютерной анимации и спортивной науке.

Обычные системы захвата движения в специально оборудованных студиях обычно основаны на наличии нескольких синхронизированных камер, прикрепленных к потолку и стенам, которые фиксируют движения человека, одетого в защитный костюм, снабженный многочисленными датчиками. Такие системы часто очень дороги и ограничены с точки зрения пространства и среды, в которых может перемещаться владелец.

Теперь группа исследователей под руководством Хидеки Койке из Tokyo Tech представляет новую систему захвата движения, состоящую из одной сверхширокой камеры «рыбий глаз», установленной на груди пользователя. Их конструкция не только позволяет преодолеть нехватку места в существующих системах, но и является рентабельной.

Система, получившая название MonoEye, может фиксировать движение тела пользователя, а также его перспективу или «область просмотра». «Наш сверхширокий объектив« рыбий глаз »имеет поле зрения 280 градусов и может захватывать конечности, лицо и окружающую среду пользователя», — говорят исследователи.

Чтобы обеспечить надежный мультимодальный захват движения, система была разработана с тремя глубокими нейронными сетями, способными оценивать трехмерную позу тела, позу головы и позу камеры в режиме реального времени.

Исследователи уже обучили эти нейронные сети с помощью обширного синтетического набора данных, состоящего из 680 000 визуализаций людей с различными формами тела, одежды, действий, фона и условий освещения, а также 16 000 кадров фотореалистичных изображений.

Однако некоторые проблемы остаются из-за неизбежного разрыва в предметной области между синтетическими и реальными наборами данных. Исследователи планируют и дальше расширять свой набор данных за счет большего количества фотореалистичных изображений, чтобы минимизировать этот пробел и повысить точность.

Исследователи предполагают, что в будущем камеру на груди можно превратить в повседневный аксессуар, такой как зажим для галстука, брошь или спортивное снаряжение.

Работа команды будет представлена на 33-м симпозиуме ACM по программному обеспечению и технологиям пользовательского интерфейса (UIST), ведущем форуме инноваций в интерфейсах человек-компьютер, который состоится виртуально 20-23 октября 2020 года.