Max Home IndustryЧто, если бы инструменты на базе нейронных сетей могли сэкономить художникам значительное количество времени или даже обогатить их работу?
GANPaint Studio предлагает заглянуть в творческие инструменты будущего:
Инструмент берет естественное изображение определенной категории, например церкви или кухню, и позволяет вносить изменения с помощью кистей, которые не просто рисуют простые штрихи, но фактически рисуют семантически значимые элементы, такие как деревья, текстура кирпича или купола.
Инновация заключается в том, что его инструменты / кисти для рисования не рисуют пикселями, а распознают объекты и вместо этого рисуют эти объекты на изображении. Кисть связана с группой нейронов, которые сами связаны с деревьями, поэтому с помощью этой кисти рисуются деревья. ; другие могут делать двери или окна.
Верно и обратное: нейроны также могут удалять связанные объекты, при этом нейронная сеть настолько умна, что компенсирует оставшуюся пустоту, заполняя соответствующий фон.
Это то же самое, что делает Deep Angel, но для видео, а не для неподвижных изображений. В обоих случаях, добавляя или удаляя элементы, вы не сможете легко сказать, что изображение было изменено.
Интересным примером является добавление ворот к Палаццо Веккьо, просто касаясь их и позволяя нейронам творить чудеса, заменяя очищенную территорию на объект, с которым она связана; в данном случае это ворота.
Само собой разумеется, что такая функциональность экономит огромное количество времени художников, поскольку может без проблем синтезировать реалистичные изображения. Само собой разумеется, что ее можно использовать для создания реалистичных глубоких подделок, тем самым добавляя к расширяющемуся арсеналу. инструментов глубоких фальшивых манипуляций, будь то манипулирование изображениями, видео или текстом. Является ли нейронная сеть OpenAI GPT-2 угрозой демократии?
Технология, лежащая в основе этого, описана в статье «Манипуляция семантическими фотографиями с помощью генерирующего изображения», Generative for Generative Adversarial Network, нейронной сети, которая учится составлять изображение так, как его воспринимают люди. Это означает, что сеть также понимает, когда это возможно. и не может составлять объекты. Например, включение нейронов для двери в правильном месте здания добавит дверь, но, напротив, нейроны не будут сотрудничать, если вы хотите сделать что-то иррациональное, например, вставить дверь в небо:
Мы обнаружили, что GAN позволяет добавлять двери в здания, особенно в подходящих местах, таких как окна или кирпичи. И наоборот, невозможно вызвать дверь в небе или на деревьях.
Однако мне не удалось проверить эти утверждения с помощью онлайн-демонстрации. Семантическое редактирование фотографий GANpaint Studio с помощью GAN среда не реагировала на мою картину, в то время как в GANpaint Paint с модулями GAN я мог создавать иррациональные изображения, например, вставляя дерево в небо.
Наверное, это из-за временного сбоя, но для разговора предположим, что это работает. Это вызовет вопросы о базовой сети, а именно о том, что на самом деле знает GAN?
Например, когда GAN создает дверь в здании, но не в дереве, мы хотим понять, возникает ли такая структура как чистые пиксельные шаблоны без явного представления, или GAN содержит внутренние переменные, которые соответствуют объектам, воспринимаемым человеком, таким как двери. , здания и деревья. И когда GAN генерирует нереалистичное изображение, мы хотим знать, вызвана ли ошибка определенными переменными в сети.
По этой причине исследователи подготовили еще одну статью «Рассечение GAN: визуализация и понимание генеративных состязательных сетей», в которой они представляют метод визуализации и понимания сетей GAN на разных уровнях абстракции, от каждого нейрона до каждого объекта и взаимосвязи. между разными объектами.
Однако результаты были неубедительными, поскольку на многие вопросы нельзя было дать удовлетворительный ответ с помощью этого метода. Конечно, что-то вроде TCAV, см. TCAV, объясняет, как ИИ достигает решения, могло бы помочь в этом отношении.
В конце концов, это дальнейшее улучшение GAN; хотя они всегда были способны легко синтезировать изображения, они не были столь полезны при манипулировании ими. Хорошо до сих пор.