Max Home IndustryGoogle только что анонсировала метод сжатия изображений, который является революционным во многих отношениях. В основном он опирается на алгоритм искусственного интеллекта для повышения резкости частей изображения на основе того, что уже есть.
Масштабирование ИИ или сверхразрешение-это интересная и почти волшебная техника, которую мы рассматривали ранее.
Основная идея заключается в том, что изображения сильно избыточны, и, учитывая изображение с низким разрешением, человек может выполнить лучшее масштабирование, чем просто используя статистику изображений. Зная, что нечеткий сгусток на самом деле является лицом, человек может сделать черты более четкими там, где большинство методов статистической интерполяции улучшают разрешение, но часто еще больше размывают изображение.
Вы можете видеть, что изображение справа имеет больше пикселей, но оно размыто по сравнению с блочным изображением с низким разрешением. Вероятно, вы могли бы сделать лучше, взяв инструмент, который заостряет очевидные края.
Если человек может это сделать, то и ИИ тоже. Google представила программу масштабирования ИИ под названием RAISR еще в ноябре 2016 года. Он изучает фильтры, которые существенно повышают резкость изображения из набора изображений и изображений с более низким разрешением, полученных из них.
«С RAISR мы вместо этого используем машинное обучение и тренируемся на парах изображений, одно низкое качество, одно высокое, чтобы найти фильтры, которые при выборочном применении к каждому пикселю изображения с низким разрешением воссоздадут детали, сопоставимые по качеству с оригиналом. RAISR можно обучить двумя способами. Первый-это «прямой» метод, при котором фильтры извлекаются непосредственно из пар изображений с низким и высоким разрешением. Другой метод включает в себя сначала применение дешевого в вычислительном отношении усилителя к изображению с низким разрешением (как на рисунке выше), а затем изучение фильтров из пар изображений с повышенным и высоким разрешением. В то время как прямой метод вычислительно быстрее, 2-й метод позволяет использовать нецелочисленные масштабные коэффициенты и лучше использовать аппаратную дискретизацию.»
Например, начиная с изображения с низким разрешением RAISR сначала масштабирует изображение, используя стандартную технику, а затем применяет обученный фильтр к каждому пикселю в зависимости от его окружения. Вы можете видеть, что он работает довольно хорошо:
Конечно, вычислительная сложность фильтра на пиксель намного выше, чем стандартное масштабирование, но оно того стоит.
Хотя RASIR полезен, поначалу казалось, что он имеет ограниченное применение — то есть в ситуациях, когда у вас есть изображение с низким разрешением, которое вы хотите показать с помощью дисплея с более высоким разрешением. Например, масштабирование стандартного телевизора до 4K приходит на ум как очевидное приложение.
Однако теперь Google нашел хитрый способ сделать RASIR ключевым компонентом алгоритма сжатия изображений. Проще говоря, происходит то, что вы отправляете версию изображения с более низким разрешением, следовательно, файл меньшего размера, а затем используете RASIR для восстановления разрешения. В приведенном примере изображение размером 1000×1500 занимает 100 Кб. Сжатие работает только путем отправки изображения с уменьшенным качеством 500х750, т. е. 25 Кб, а затем с помощью RASIR для восстановления резкости до увеличенной версии.
В настоящее время это работает только в Google+, но идея состоит в том, чтобы в будущем распространить его использование на другие приложения и сервисы.
Это забавная идея, но это лишь небольшой шаг к тому, что сжатие на основе искусственного интеллекта может сделать для нас. Основанные на искусственном интеллекте методы «в живописи» и сверхразрешения могут разумно экстраполировать то, что видно на изображении, на то, что должно было быть видно, если бы камера справлялась с этой задачей. Понимая, что представляет собой изображение, ИИ может использовать свой интеллект, чтобы заполнить недостающие детали лица, скажем. Используя такой подход, вы могли бы получить гораздо более высокие коэффициенты сжатия, но, возможно, подвергнете себя обвинению в том, что полученное изображение с суперразрешением было скорее плодом «воображения» ИИ, чем восстановленным изображением.