KinectFusion — мгновенные 3D-модели

KinectFusion-еще одно удивительное использование всеми любимого устройства ввода, но на этот раз оно выходит за рамки реальности. Он может отображать локальное пространство для создания 3D-модели, которую можно использовать в виртуальных средах. Это способ смешения реального и виртуального.

Мы сообщили о KinectFusion более месяца назад (и эта новость является обновлением оригинала), и с тех пор команда усердно работала над объяснением своих идей. Теперь у нас есть новое видео, которое более четко показывает, как все это работает. Отполированное видео, вероятно, как-то связано с тем, что Microsoft Research празднует свое 20-летие создания вещей, которые удивляют и забавляют.

Новое видео стоит посмотреть, потому что оно подробно показывает, как создается 3D — модель, но оригинальное видео более низкого качества все еще стоит посмотреть, потому что оно показывает, как Kinect Fusion можно использовать творчески-если вы можете назвать бросание виртуальной слизи на кого-то творческим!

Помимо возможностей Kinect, это также результат конвергенции вычислительной мощности GPU и некоторых умных алгоритмов, реализованных Microsoft Research и представленных на SIGGRAPH в этом году. Бумага все еще должна появляться где угодно, и поэтому крошечные детали того, как все это работает, все еще неясны. Команда обещала более подробную информацию в документах, представленных в следующем месяце на симпозиуме UIST в Санта-Барбаре, Калифорния, и ISMAR в Базеле, Швейцария.

В видео происходит то, что 3D-модель строится в режиме реального времени из потока глубины Kinect. Вся комната может быть отсканирована за несколько секунд, и новые разделы добавляются в модель, когда Kinect указывает на новые области комнаты.

Медленно, но верно по мере того, как Kinect просматривает комнату, создается полная 3D-модель. Движение Kinect также важно, потому что при движении он «видит» различные области комнаты и заполняет детали глубины, которые были скрыты с его предыдущей точки зрения. Обратите внимание, что это не тривиально, потому что для объединения снимков, сделанных с разных точек зрения, вы должны знать, куда направлена камера. Используемый метод называется итеративной ближайшей точкой (ICP), которая объединяет данные нескольких сканирований и определяет ориентацию камеры путем сравнения соседних по времени кадров.

Позже вы заметите, как объекты могут быть перемещены, добавлены или удалены, а модель скорректирована для обеспечения точности представления.

Построенная модель описывается как объемная, а не каркасная модель. Говорят, что это также имеет преимущества, поскольку содержит предсказания геометрии. Что именно это означает, трудно определить без подробного описания метода в статье. Однако представляется вероятным, что измерения глубины используются для создания облака точек, которое обеспечивает локальную геометрию путем некоторого сглаживания. Из второго видео вы можете видеть, что алгоритм оценивает нормали поверхности, и они используются как часть знакомых алгоритмов рендеринга.

Что ясно из видео, так это то, что модель, похоже, работает достаточно хорошо, чтобы обеспечить взаимодействие между ней и системой частиц и текстурированным рендерингом. Ключом к скорости процесса является использование вычислительных возможностей графического процессора.

Без видео вы могли бы подумать, что модель в реальном времени была решением в поисках проблемы, но, как вы можете видеть, у нее уже есть много интересных приложений. Демонстрация рисования на любой поверхности была бы невозможна без модели того, где находятся эти поверхности, и то же самое относится к мультитач-интерфейсу, дополненной реальности и физике в реальном времени в системах частиц. Какое из этих приложений вы находите наиболее впечатляющим, зависит от ваших интересов, но меня особенно заинтриговала возможность бросать на кого — то виртуальную слизь-почему я не уверен…

Посмотрите оригинальное видео и пофантазируйте о том, что вы могли бы сделать с 3D-моделью в реальном времени…