Бесплатная библиотека конвертирует 2D-изображение в 3D

Microsoft Research снова усердно работала над невозможным. На этот раз это библиотека кода, которая преобразует двухмерное видео или неподвижное изображение в трехмерное изображение глубины.

Это все о том, чтобы сделать простое 2D-изображение и определить, как далеко от вас находится каждый из объектов на нем. Алгоритм пытается построить карту глубины, подобную той, которую создает Kinect, но без использования Kinect.
Когда у вас есть карта глубины, вы можете применить ее к отдельному изображению и создать стереопару, которую можно будет рассматривать как стереоскопическое изображение.
Сначала вы можете подумать, что все это невыполнимая задача, потому что вам нужно стереозрение и, следовательно, пара стереофотографий, чтобы проработать глубину. В конце концов, у нас есть два глаза, чтобы судить о глубине. Тем не менее, попробуйте смотреть на сцену с одним закрытым глазом, вы все равно сможете оценить расстояния, и, что еще более впечатляюще, вы можете оценить расстояния на одной фотографии.

Одиночные кадры преобразованы в карты глубины — чем темнее, тем ближе

Итак, как этого добиться?
Новое программное обеспечение выполняет эту работу, сохраняя базу данных объектов с известной глубиной, которые оно может распознать на фотографии. Затем он оценивает функции деформации, которые показывают, чем объект отличается на целевой фотографии. Предполагается, что согласованный объект находится на той же глубине, что и объект библиотеки. Затем для улучшения оценок глубины используется процедура сглаживания на основе меток. Если входом является видео, то для улучшения оценок глубины используется поток движения — в основном пиксели, которые находятся в движении, должны находиться перед фоновыми пикселями.

Метод был обучен и протестирован с использованием набора видео, которые были собраны в стерео с помощью Kinect для измерения глубины, где это возможно. Вы можете увидеть расположение, использованное на фотографии выше.
Вы можете увидеть алгоритм в действии в следующем видео:

От видео до карты глубины и трехмерных стереоизображений

Вы можете скачать как реализацию алгоритма в Matlab, так и данные для обучения.