Max Home IndustryKinect-это удивительное аппаратное обеспечение, но без программного обеспечения это ничто. KinectFusion-это самое захватывающее приложение Kinect на сегодняшний день. Теперь, с выпуском библиотеки Облака точек, проекта с открытым исходным кодом, мы все можем использовать этот конструктор 3D-моделей в реальном времени. Вот видео, которое объясняет, как все это работает.
Еще в августе 2011 года Microsoft продемонстрировала Kinect, используемый в качестве ручного 3D-сканера на SIGGRAPH KinectFusion.
Когда Kinect сканировался по комнате, казалось, что он «рисует» 3D-модель на манер фонарика, освещающего различные части сцены. Из демонстрации и видеозаписей было ясно, что это было быстро, а повторное сканирование улучшило точность и удалило точки шума.
Созданная 3D — модель может быть использована во всех видах творческих способов, включая виртуальную реальность и дополненную реальность. С помощью 3D-модели можно смоделировать, как другие объекты и жидкости будут двигаться внутри сцены, а затем наложить это на видео. Таким образом, вы можете бросить виртуальное ведро краски на сцену, и она будет течь в соответствии с 3D-моделью.
В целом это замечательный материал, и он дешев — для выполнения вычислений нужны только Kinect и графический процессор.
Единственная проблема заключается в том, что Microsoft не выпустила и, возможно, никогда не выпустит этот код. Хорошей новостью является то, что теперь существует реализация KinectFusion с открытым исходным кодом. Библиотека облака точек-это проект с открытым исходным кодом о 3D-обработке в целом. Платформа PCL содержит процедуры, которые реализуют фильтрацию, оценку характеристик, реконструкцию поверхности, регистрацию, подгонку модели и сегментацию. Он также имеет операции более высокого уровня, такие как отображение и распознавание объектов.
Теперь у нас есть реализация KinectFusion, основанная на научной статье, которая довольно подробно описывает алгоритм. Он все еще разрабатывается, но вы можете видеть, что он работает на видео (верхняя правая панель-это 3D-модель):
Обратите внимание, как объекты, кажется, «плавятся» и «застывают» в модели, когда они добавляются и удаляются. Все это является частью процесса усреднения, который устраняет шум.
Если вы хотите узнать, как это работает в деталях, вы можете прочитать статью Microsoft Research. Чтобы помочь вам начать работу, у нас есть видео, в котором используются выдержки из существующих видео, чтобы объяснить, как работает алгоритм слияния:
Если вы ищете захватывающую область для участия, то это именно то, что вам нужно. Возможность создавать 3D-модель в режиме реального времени и по реалистичной цене-это шаг вперед в технологии, и это позволит делать вещи, которые всего несколько месяцев назад были немыслимы. Теперь вы можете сканировать весь интерьер дома и позволить роботу использовать модель для навигации, пока он собирает данные для уточнения модели. Как говорится, «это ограничено только вашим воображением».