Смотрите футбольные матчи в 3D на своем столе

Просмотр спортивных состязаний на 2D-экране никогда не приносит удовольствия. Чтобы увидеть, что происходит, требуется полное трехмерное 360-градусное видение, отсюда и идея о том, что спорт — это одно телевизионное событие, для которого могут быть полезны специальные камеры и устройства для просмотра. Теперь у нас есть альтернатива, которая может означать, что никаких изменений не требуется. Смотрите футбол на своем столе в реалистичной «голограмме» дополненной реальности — это так же хорошо, как быть там.

Вместо того, чтобы выводить на игровое поле новые камеры, идея состоит в том, чтобы использовать ИИ для создания поля глубины из стандартного монокулярного обзора телекамеры. В наши дни это кажется сравнительно возможным, но стоит помнить, что еще недавно такой подход считался безнадежно оптимистичным. Ключ в том, что теперь мы достаточно уверены, чтобы попытаться обучить нейронную сеть извлекать поле глубины.

Но где взять размеченные данные для обучения.

Что необходимо, так это несколько видеороликов с игроками, на которых указано их глубина в изображении. Хотя существует множество спортивных видеороликов, не многие из них, если таковые имеются, имеют маркировку и, следовательно, подходят в качестве тренировочного набора. Решение, придуманное командой Вашингтонского университета, Google и Facebook, заключалось в использовании хорошо известной футбольной игры FIFA. RenderDox использовался для перехвата вызовов от игрового движка к графическому процессору. Это обеспечивает информацию о глубине и цвете для каждого игрока. Игроки были отделены от шума поля и окружающей среды и идентифицированы как отдельные игроки. Затем нейронная сеть была обучена определять игроков и глубину.

Полный конвейер реконструкции игры сложнее, чем просто оценка глубины. Сначала необходимо оценить позу камеры, чтобы фигуры могли быть размещены на поле. Идентифицируются следующие игроки и вычисляется сглаженный трек. На основе данных глубины строится трехмерная сетка для каждого игрока, которая используется в презентации AR.

Система была опробована на видео на YouTube, и, похоже, она работает. Взглянуть:

Жаль, что в начале клипа есть только краткое представление о том, как игры выглядят на столе с дополненной реальностью.

Прежде чем вы увлечетесь и начнете представлять, как смотрите любимое место на столешнице. Стоит перечислить некоторые проблемы:

Во-первых, в настоящее время для каждого игрока восстанавливается только карта глубины, что обеспечивает удовлетворительное впечатление от просмотра только с одной стороны поля. Кроме того, закрытые части игроков не восстанавливаются. Галлюцинации противоположных сторон (геометрия и текстура) и закрытых частей игроков позволили бы видеть их под любым углом. Во-вторых, дальнейшие улучшения в обнаружении игроков, отслеживании и оценке глубины помогут уменьшить случайные артефакты, а восстановление мяча в поле позволит более удовлетворительно наблюдать за всей игрой.

Вы заметили важную часть?

Нет мяча. Команда еще не дошла до обнаружения и рендеринга мяча, так что на данный момент у вас есть трехмерное соревнование «найди мяч».

Это первый шаг на пути к чему-то, что может оказаться важным в будущем. При дальнейшем развитии вы вполне можете выбрать просмотр стандартной трансляции футбольного матча, как если бы он происходил перед вами на столе — и да, в комплекте с мячом и даже с судьей.

Код доступен на Github.