Max Home IndustryИсследователи из NVIDIA и Калифорнийского университета в Merced разработали новый, более эффективный алгоритм, основанный на глубоком обучении, для передачи стиля, чтобы сделать технику более широко применяемой для достижения фотореалистичных результатов.
Вы можете подумать, что передача стиля уже довольно хорошо проявляется не только в искусстве, но и в других областях, таких как кухня. Если вы не сталкивались с подобным использованием алгоритмов, Сюэтин Ли, Сифей Лю, Ян Каутц, Мин-Сюань Ян объяснят, что делает перенос стиля, как он это делает и некоторые ограничения текущего подхода в их исследовательская работа:
Учитывая случайную пару изображений, метод передачи произвольного стиля извлекает ощущение из эталонного изображения для синтеза вывода на основе внешнего вида другого изображения содержимого. Недавние методы переноса произвольного стиля переносят статистику второго порядка из эталонного изображения в изображение контента посредством умножения между характеристиками изображения контента и матрицей преобразования, которая вычисляется из характеристик с помощью заранее определенного алгоритма. Эти алгоритмы либо требуют затратных вычислительных операций, либо не могут моделировать ковариацию признаков и создавать артефакты в синтезированных изображениях.
Проанализировав алгоритмы передачи произвольного стиля и их расширения, команда теоретически вывела форму матрицы преобразования и использовала подход, который изучает матрицу преобразования с помощью сети с прямой связью. Они использовали графические процессоры NVIDIA TITAN Xp с фреймворком глубокого обучения PyTorch с ускорением cuDNN для обучения сверточной нейронной сети на 80000 изображений людей, пейзажей, животных и движущихся объектов и протестировали свой подход на четырех задачах передачи стилей: передача художественного стиля, видео и фото. -реалистичный перенос стиля и адаптация домена.
Они пришли к выводу:
Наш алгоритм очень эффективен, но позволяет гибко комбинировать многоуровневые стили, сохраняя при этом сходство контента во время процесса переноса стилей.
Исследование было показано на SIGGRAPH 2018, где было объяснено, что этот прорыв состоит в том, чтобы позволить двум облегченным сверточным нейронным сетям заменить любые недружественные к GPU вычисления, такие как SVD-декомпозиция, и преобразовать изображения. Благодаря этому пользователи могут применять различные уровни изменения стиля в реальном времени. Результаты экспериментов показывают, что предложенный алгоритм выгодно отличается от многих современных методов передачи стилей изображений и видео.
Лю прокомментировал:
«Наше решение также позволяет людям изменять видео в реальном времени. Вы можете использовать множество шаблонов, чтобы найти стиль, который вам больше всего подходит. Я думаю, это побудит производителей контента создавать больше, возможно, люди, которые не умеют рисовать, будут использовать перенос стиля для создания искусства ».