Передача стиля делает фильм

Всего несколько месяцев назад передача стилей на основе нейронных сетей была последней новинкой. Теперь у нас есть небольшой и серьезный фильм, в котором есть разделы, созданные путем переноса стилей. Режиссер — актриса Кристен Стюарт, которая также является соавтором статьи.

Весьма вероятно, что большая часть тяжелой работы была сделана инженером-программистом Adobe Бхаутиком Джоши, но заслуги Стюарта и продюсера Дэвида Шапиро, вероятно, были оправданы творческими соображениями и простой способностью понять и использовать передовую технику, достаточную для реализации их художественный замысел. Фильм «Давай купайся» был написан и снят Стюарт, и в нем использовалась ее картина, чтобы определить стиль.

Вы можете увидеть крошечный отрывок из фильма на видео, хотя в нем нет фрагментов, переданных по стилю:

Передача стиля достигается путем обучения нейронной сети распознаванию стиля конкретного художника и последующего извлечения характеристик, характеризующих стиль. Затем их можно применить к новому изображению, чтобы преобразовать его в тот же стиль.

В этом случае конвейер обработки использовал множество графических процессоров, предоставленных Amazon EC2. Даже тогда разрешение было всего 1024 пикселя в ширину, и его нужно было увеличить до 2048 пикселей, чтобы включить в остальную часть фильма. Время обработки составляло около 40 минут на кадр на каждый использованный экземпляр.

Проблема, которую необходимо решить, — как обеспечить творческий контроль режиссеру? Использование технических параметров сети не позволяет легко достичь желаемого результата. Ключевым фактором в этой работе является то, что была получена мера «нереальности» u, позволяющая контролировать силу передачи стиля.

В содержании статьи не упоминается «прорывной» заголовок, и, честно говоря, большая часть внимания, которое он привлекло, больше связано с включением актрисы Кристен Стюарт — вау, актриса пишет статью об ИИ — но это показатель того, насколько быстро продвинутый ИИ вторгается в то, что мы обычно называем изобразительным искусством.

В течение долгого времени искусство инсталляции и другие более эзотерические «события» требовали, чтобы их создатели знали о таких языках, как обработка, и об оборудовании, таком как Arduino или Raspberry Pi. Теперь вы можете добавить в список нейронные сети. С тех пор, как сеть Google начала придумывать сюрреалистические изображения, ИИ стал самостоятельной творческой силой.