Max Home IndustryЕсли вы когда-либо говорили с монитором активности смарт-часов, когда обнаруживаете, что он проигнорировал вашу 30-минутную тренировку перед смертью, тогда вы поприветствуете GymCam.
Умные часы и аналогичные носимые мониторы активности часто разочаровывают, потому что их простые датчики пропускают действительные упражнения. Хорошо известно, что многие датчики просто перестают работать, например, если вы бежите на беговой дорожке. Запись упражнений важна, потому что она дает мотивацию и дает данные об улучшении производительности. Многие люди не любят упражнения, и когда фитнес-монитор начинает пропускать занятия, возникает тенденция думать: «Какая разница, если я этого не делаю».
Вместо того, чтобы использовать носимые датчики, GymCam, разработанный исследователями из Института взаимодействия человека и компьютера Карнеги-Меллона и Института исследований программного обеспечения, использует стандартную видеокамеру Logitech C922 с разрешением 1920 × 1080 для обнаружения и посчитайте упражнения, которые выполняются. Он может отслеживать несколько человек одновременно и вести учет их упражнений. Идея состоит в том, что одна камера GymCam, установленная в тренажерном зале, будет контролировать всех. Амбициозная идея, но тем более, если учесть тот факт, что целью было наблюдать за людьми, когда они лишь частично видны камере.
Вместо сквозного подхода, который просто подключает нейронную сеть к камере, были использованы алгоритмы компьютерного зрения для создания вручную выбранного вектора признаков. Траектории оптического потока были рассчитаны и преобразованы в 27-мерный вектор признаков, который передавался в нейронную сеть. Система не пытается отслеживать пользователей или оценивать их позы. Извлечение скелетов для каждого пользователя позволило бы определить положение тела и, следовательно, то, какие упражнения он выполнял, но это требует больших вычислительных ресурсов и не работает, когда пользователь частично закрыт. Когда упражнение повторяется, GymCam использует периодическое изменение изображения, чтобы охарактеризовать упражнение. Тот факт, что первым шагом является вычисление оптического потока, также является преимуществом, когда дело доходит до конфиденциальности, поскольку это трудно изменить, чтобы получить видеоизображение.
Конечно, большая часть работы заключалась в создании подходящих обучающих видео, которые включали запись людей в тренажерном зале, а затем ручную классификацию занятий и подсчет повторений.
Результат в действии вы можете увидеть в следующем видео:
Вроде хорошо работает:
«Чтобы разработать и оценить наши алгоритмы машинного обучения, мы собирали данные в спортзале университета CMU в течение пяти дней. Мы сегментировали все одновременно выполняемые упражнения из других упражнений на видео с точностью 84,6%; распознали тип упражнения (согласно = 92,6%) и подсчитал количество повторений (± 1,7 счета). GymCam продвигает область отслеживания упражнений в реальном времени, заполняя некоторые важные пробелы, такие как отслеживание движений всего тела, обработка окклюзии и возможность одноточечного измерения для множества пользователей «.
Перед развертыванием коммерческой версии необходимо решить некоторые проблемы. Во-первых, система не распознает пользователей. Предполагается, что пользователи отслеживаются с помощью другого устройства — смартфона или QR-кода. Камере также необходимо указать, где в сцене будет происходить упражнение, поэтому при установке требуется некоторая настройка. Однако тот факт, что он использует только одну видеокамеру и не требует мощного оборудования, делает его практичным предложением даже для домашнего использования.