Max Home IndustryИсследователи из Университета Дьюка разработали инструмент искусственного интеллекта, который может превращать размытые, неузнаваемые изображения лиц людей в устрашающе убедительные компьютерные портреты с большей детализацией, чем когда-либо прежде.
Предыдущие методы позволяли масштабировать изображение лица до восьми раз по сравнению с исходным разрешением. Но команда Duke придумала способ взять несколько пикселей и создать реалистичные лица с разрешением до 64 раз, « воображая » такие особенности, как тонкие линии, ресницы и щетину, которых не было вначале. место.
«Никогда еще изображения сверхвысокого разрешения с таким разрешением не создавались с такой детальностью», — сказала специалист по информатике Duke Синтия Рудин, возглавлявшая команду.
Эта система не может использоваться для идентификации людей, говорят исследователи: она не превратит расфокусированную, неузнаваемую фотографию с камеры видеонаблюдения в кристально чистое изображение реального человека. Скорее, он способен создавать новые лица, которых не существует, но которые выглядят правдоподобно реальными.
В то время как исследователи сосредоточились на лицах в качестве доказательства концепции, с помощью той же техники теоретически можно было делать снимки с низким разрешением практически всего и создавать четкие, реалистичные изображения с различными приложениями, от медицины и микроскопии до астрономии и спутниковых снимков. — сказал соавтор Сачит Менон ’20, который только что окончил Duke со специализацией в математике и информатике.
Исследователи представят свой метод под названием PULSE на следующей неделе на конференции 2020 года по компьютерному зрению и распознаванию образов (CVPR), которая будет проходить практически с 14 по 19 июня.
Традиционные подходы берут изображение с низким разрешением и «угадывают», какие дополнительные пиксели необходимы, пытаясь в среднем сопоставить их с соответствующими пикселями в изображениях с высоким разрешением, которые компьютер видел раньше. В результате такого усреднения текстурированные участки волос и кожи, которые могут не совпадать идеально от одного пикселя к другому, в конечном итоге выглядят нечеткими и нечеткими.
Команда Duke придумала другой подход. Вместо того, чтобы брать изображение с низким разрешением и медленно добавлять новые детали, система просматривает созданные искусственным интеллектом примеры лиц с высоким разрешением, ища те, которые максимально похожи на исходное изображение при уменьшении до того же размера.
Команда использовала инструмент машинного обучения, который называется «генеративная состязательная сеть» или GAN, которые представляют собой две нейронные сети, обученные на одном и том же наборе данных фотографий. Одна сеть придумывает человеческие лица, созданные искусственным интеллектом, которые имитируют те, на которых она была обучена, в то время как другая берет эти данные и решает, достаточно ли они убедительны, чтобы их можно было принять за настоящие. Первая сеть становится все лучше и лучше с опытом, пока вторая сеть не заметит разницы.
По словам Рудина, PULSE может создавать реалистичные изображения из шумных и некачественных входных сигналов, которые недоступны другим методам. Из одного размытого изображения лица он может выплюнуть любое количество невероятно реалистичных возможностей, каждая из которых немного похожа на другого человека.
Даже учитывая пиксельные фотографии, на которых глаза и рот едва различимы, «нашему алгоритму все же удается что-то с ним сделать, чего не могут сделать традиционные подходы», — сказал соавтор Алекс Дамиан ’20, герцог математика.
Система может преобразовать изображение лица размером 16×16 пикселей в 1024 x 1024 пикселей за несколько секунд, добавив более миллиона пикселей, что сравнимо с разрешением HD. Детали, такие как поры, морщины и пряди волос, которые не заметны на фотографиях с низким разрешением, становятся четкими и четкими в версиях, созданных на компьютере.
Исследователи попросили 40 человек оценить 1440 изображений, созданных с помощью PULSE и пяти других методов масштабирования, по шкале от одного до пяти, и PULSE показал наилучшие результаты, получив почти такие же оценки, как высококачественные фотографии реальных людей.
Посмотрите результаты и загрузите изображения для себя на http://pulse.cs.duke.edu/ .
Это исследование было поддержано Фондом лорда Северной Каролины и Департаментом компьютерных наук Герцога.