Kinect знает, что вы делаете …

Вы можете обучить Kinect распознавать, что вы делаете, и, возможно, даже распознавать, кто это делает!

Когда вы подумали, что камера Kinect RGBD (красная, зеленая, синяя, глубина) устарела и больше нечего делать, исследователи из Корнелла доказывают, что вы ошибаетесь.
Они взяли стандартный Kinect с драйверами с открытым исходным кодом и программное обеспечение PrimeSense Nite и создали программу, которая может сказать, что вы делаете. Kinect, установленный на роуминг-роботе или, возможно, по одному в каждой комнате, может следить за тем, что вы делаете — чистите зубы, готовите, пишете на доске (в конце концов, дизайнеры — ученые) и так далее.
Зачем вам это нужно?
Представьте себе умный дом будущего. Очевидно, что знание того, что вы делаете, было бы преимуществом —
«Не могли бы вы помочь с этим рецептом, Дэйв?»
На менее амбициозном уровне вы могли бы использовать Kinect, чтобы контролировать, что говорят пациенты, и следить за тем, чтобы они пили или ели и т. Д. Более тревожным приложением может быть обеспечение того, чтобы работники делали именно это — работали и выполняли правильную задачу.
Исследователи также продемонстрировали, что не только Microsoft Research может внедрить ИИ в Kinect. Они использовали иерархическую марковскую модель максимальной энтропии, которая основана на идентификации таких подвидов деятельности, как «получение», «выпивка», «место» и т. Д.

Четыре образца с учебной площадки — чистка зубов, приготовление пищи, отдых на стуле, открытие контейнера с таблетками.

Набор для обучения был небольшим по сравнению с тем, что использует Microsoft Research, и, следовательно, результаты не столь убедительны. Были задействованы только четыре разных человека, которым просто дали инструкции по выполнению действия, но на виду у Kinect. Это немного искусственно, потому что обычно вы не чистите зубы, стоя перед Kinect. Результаты обучения показали хорошие результаты для ранее наблюдаемых испытуемых — 84,31% правильных действий.
Не менее интересно то, что уровень классификации снизился до 64,17% для людей, которых раньше не видели. Это означает, что в том, как люди выполняют эти стандартные задачи, вполне может содержаться информация, достаточная для того, чтобы распознать людей. Вполне возможно, что того, как вы чистите зубы, достаточно, чтобы вас идентифицировать.
Чтобы превратить любое возможное приложение в реальность, потребуется гораздо больший набор обучающих программ и дальнейшее развитие, но это выглядит многообещающим.
Это также демонстрирует, что не только Microsoft Research может добавлять методы искусственного интеллекта в Kinect. Большинство его творческих применений до этого момента были просто адаптациями, которые использовали его ввод глубины для управления роботами или распознавание жестов для управления квадрокоптерами и т. Д. В этом случае уникальный взгляд на мир, который обеспечивает камера глубины, был использован в машинном обучении. производить что-то совершенно новое.