Max Home IndustryВ еще одном прорыве в области искусственного интеллекта исследователям из лаборатории компьютерного зрения Ноттингемского университета удалось наиболее продуктивным и эффективным способом преобразовать двухмерные изображения лиц в их трехмерные аналоги и сделать этот проект доступным для всех нас. Самое приятное то, что он может даже работать с искусством, таким как исторические портреты и карандашные наброски.
С научной точки зрения процесс сопоставления лицевых пикселей с трехмерными координатами относится к сфере трехмерной реконструкции лица и является одной из самых сложных проблем, которые пытаются решить исследования компьютерного зрения и графики.
Текущие хорошо зарекомендовавшие себя подходы, в основном 3D Morphable Model (3DMM), оказались громоздкими из-за их высоких требований в наборах данных с переменными версиями как 2D-изображений, так и их аналогов в 3D-моделях, а также в алгоритмической оптимизации и настройке.
Этот новый подход, представленный в статье «3D-реконструкция лица с большой позой из одного изображения с помощью прямой объемной регрессии CNN», предлагает новую технику, которая может успешно справиться со всеми этими проблемами. Подача в сверточную нейронную сеть (CNN) всего лишь одной двумерной фотографии лица, снятой под любой позой или углом, быстро и без особых хлопот преобразует ее в трехмерную копию.
Это возможно, потому что его архитектура CNN использует объемное представление трехмерной геометрии лица, что позволяет переходить непосредственно от двухмерного изображения лица к соответствующему трехмерному объему без прохождения промежуточных шагов, которые требуются для 3DMM. приводит к значительному повышению производительности.
При обучении CNN использовались наборы данных двухмерных изображений вместе со связанными с ними трехмерными сканированными моделями лица, чтобы позволить сети самой сделать вывод об их соединении. Результатом этой попытки было следующее:
CNN смогла напрямую изучить отображение пикселей изображения на полную трехмерную геометрию структуры лица (включая невидимые части лица).
Что имело значение.
В качестве доказательства концепции исследователи создали веб-сайт, на который каждый может загрузить любое изображение, от селфи до изображений, загруженных из Интернета, для создания 3D-моделей. Попробовав его, вы заметите, что получение конечного результата не займет много времени и что он также работает с изображениями .jpg низкого качества с потерями.
Поставляемые образцы для демонстрационных целей включают фотографии Алана Тьюринга, Барака Обамы, Элайджи Вуда и Грейс Хоппер.
Все хорошо, но неожиданная часть (которую, я не уверен, даже предполагали исследователи) заключается в том, что она также может работать с действительно асимметричными, непропорциональными и деформированными объектами, такими как картины и карандашные наброски! Возьмем, к примеру, Генриха VIII, короля Англии 1509-1547 гг:
Или Джордж Вильерс, герцог Бекингемский (ок. 1620 г.)
Или карандашные наброски вроде:
Итак, каково потенциальное использование этой технологии?
С научной точки зрения реконструкция лица очень ценится в судебной медицине, поскольку помогает идентифицировать людей, как показывает пример карандашного наброска; или в археологии, помогая восстанавливать исторические личности, позволяя им рассказывать свою историю. Это и наука, и искусство, и обычно требуется участие как художника, так и судебно-медицинского эксперта. Таким образом, такой алгоритм мог бы ускорить процесс или даже выступить в роли художественного помощника ученых.
Коммерческое использование включает сектор здравоохранения, телекоммуникации, игры, моделирование и даже искусство.