Max Home IndustryЭто SIGGRAPH, так что вы ожидаете много потрясающей графики, но Microsoft, похоже, захватывает рынок вау. В этом случае возьмите любую обычную видеокамеру и с небольшими изменениями превратите ее в действительно хорошую камеру глубины.
Есть некоторые ограничения того, что вы можете надежно обнаружить, но об этом чуть позже.
Идея состоит в том, что если вы направите свет на что-то, количество отраженного света зависит от того, как далеко он находится. Это также зависит от множества других факторов, но это основная идея.
Microsoft Research взяла стандартную видеокамеру, удалила из нее блокирующий ИК-фильтр и заменила его полосовым ИК-фильтром. Большинство камер имеют ИК-фильтр, чтобы инфракрасное излучение не могло испортить видео, но они чувствительны к инфракрасному излучению, если вы удалите фильтр. (Raspberry Pi и некоторые другие видеокамеры доступны с удаленным ИК-фильтром только для создания видео со спецэффектами). Если вы замените фильтр на тот, который пропускает только инфракрасное, то у вас будет чистая инфракрасная камера.
Теперь добавьте несколько инфракрасных светодиодов, и у вас есть устройство, которое может измерять количество инфракрасного света, которое объект отражает обратно, и, следовательно, насколько далеко он находится.
Как уже упоминалось, большая проблема заключается в том, как откалибровать количество света, отраженного обратно в камеру, чтобы определить расстояние. В прошлом это требовало тщательных фиксированных настроек, которые можно было откалибровать, а затем использовать. Команда Microsoft использовала машинное обучение для определения глубины отдельного пикселя как совместной функции яркости окружающих его пикселей.
Конечно, проблема в том, что эта функция будет варьироваться в зависимости от типа объектов в поле зрения и, чтобы упростить решение проблемы, использовались только руки и лица. Вы легко можете видеть, что возможность получить дешевую глубину резкости даже для такого ограниченного набора объектов, как руки и лица, будет очень полезна для обнаружения жестов и эмоций.
Система была обучена оценивать функцию глубины для каждого пикселя набора обучающих данных, состоящего из рук и лиц. Хорошая новость заключается в том, что обучение хорошо распространяется на новые предметы и, что еще более удивительно, на другие камеры.
Вы можете увидеть все это в действии в следующем видео:
Как видно из видео, основным ограничением метода является то, что он дает хорошие результаты только на поверхностях с обученной отражательной способностью (альбедо). Однако, если это работает для кожи, то есть много приложений, которые просто ждут такой дешевый датчик.
Помимо создания карты глубины, этот метод также использовался для идентификации частей руки и лица с хорошей точностью, что делало его еще более полезным для идентификации жестов и эмоций.
Чтобы сделать его простым в использовании и сверхнизкой стоимости, исследователи создали новые напечатанные на 3D-принтере задние панели мобильного телефона, содержащие ИК-фильтр и кольцо подсветки. Тем не менее, вам все равно придется удалить оригинальный ИК-фильтр с камеры, и это, вероятно, не заставит себя ждать — разумеется, гарантия аннулируется.