ИИ используется для открытия закрытых глаз

Исследователи Facebook использовали новый подход для исправления фотографий, особенно для рисования открытых глаз, когда объект на фотографии моргает или закрывает глаза, как только щелкает затвор.

Программное обеспечение для редактирования фотографий использовалось на протяжении десятилетий для устранения эффекта красных глаз на фотографиях, а в Adobe Photoshop теперь есть алгоритм открытия глаз. Чтобы попытаться достичь более реалистичных результатов, Брайан Долханский и Кристиан Кантон Феррер использовали технику искусственного интеллекта, известную как «Образцовые генеративные состязательные сети» (ExGAN), а именно:
тип условного GAN, который использует информацию об образце для получения высококачественных, персонализированных результатов в отрисовке.
Дополнительная, примерная информация в данном случае взята из другой фотографии того же объекта.
На первом рисунке в статье, посвященной исследованию, сравниваются результаты Adobe Photoshop и метода ExGAN:

Второй показывает общую архитектуру Examplar GAN:

Схема обучения представлена следующим образом:
(1) отметьте глаза на входном изображении
(2) закрасьте изображение, используя эталонное изображение или код в качестве ориентира.
(3) вычислить градиент параметров генератора через потерю содержимого / реконструкции между входным изображением и нарисованным изображением.
(4) вычислить градиент параметров дискриминатора с нарисованным изображением, другим реальным, достоверным изображением и эталонным изображением или кодом.
(5) распространить ошибку дискриминатора через генератор
(6) По желанию, параметры генератора также могут быть обновлены с потерей восприятия.
Для базирующихся на справочниках Exemplar GAN функции сжатия C (I) являются функцией идентичности.
В заключительном разделе статьи исследователи пишут:
Примеры GAN предоставляют полезное решение для генерации изображений или рисования, когда область этого изображения имеет какую-то функцию идентификации. Они обеспечивают превосходные результаты восприятия, поскольку включают идентифицирующую информацию, хранящуюся в эталонных изображениях или кодах восприятия. Наглядный пример их возможностей демонстрирует глаз в живописи. Поскольку Exemplar GAN являются общей структурой, они могут быть расширены на другие задачи в рамках компьютерного зрения и даже на другие области.