Max Home IndustryНедавно было обнаружено, что у нейронных сетей есть недостаток, который приводит к ошибкам, которые кажутся человеку глупыми. Кажется, есть способ изменить любое изображение так, чтобы оно выглядело для нас одинаково, но все нейронные сети будут неправильно классифицировать его. Это самый удивительный результат, достигнутый ИИ. ОБНОВЛЕНИЕ См. Ниже неофициальное объяснение того, что может быть причиной и возможным исправлением.
Нейронные сети обучаются таким образом, чтобы обобщать примеры, которые они не видели. Если вы научите сеть распознавать кошку по одному набору изображений, то сеть обычно распознает изображение кошки, которого она никогда раньше не видела. Сеть не просто запоминает обучающий набор, это обучающие функции, которые позволяют ей распознавать вещи, которых она никогда раньше не видела.
Практически каждый, кто хоть немного интересуется этой темой, знает, что нейронные сети дают впечатляющие результаты — в области зрения, понимания языка, языкового перевода, игр и т.
Есть только одно небольшое беспокойство. Около двух лет назад было обнаружено, что можно взять любое входное изображение и найти небольшую модификацию его значений пикселей, из-за которой сеть неправильно классифицирует изображение. Фактором шока было то, что модификация была слишком маленькой, чтобы человек мог ее даже заметить, и поэтому мы сталкиваемся с двумя, казалось бы, идентичными фотографиями, одна классифицирована правильно, а другая нелепо неправильно.
Это беспокоит, но вы можете сделать дефект менее заметным, подумав, что он как-то связан с недостаточным обучением сети. В действительности состязательные изображения, так называемые слегка измененные изображения, используются в обучающих сетях, чтобы сделать их лучше и менее чувствительными к небольшим изменениям.
Теперь у нас есть результат, из-за которого сложнее думать, что недостаток является артефактом. Происходит что-то странное.
Новый результат поразителен. Исследователи из Федеральной политехнической школы Лозанны (EFPL) обнаружили, что существуют универсальные возмущения. То есть вы можете взять нейронную сеть, обученную на наборе изображений, и найти изображение с небольшими значениями пикселей, которое вы можете добавить к любому другому изображению, которое с большой вероятностью приведет к его неправильной классификации. Это универсальное состязательное возмущение не зависит от образа, который сеть неверно классифицирует. Что еще более беспокоит, так это то, что он в значительной степени не зависит от используемой нейронной сети.
Не существует только одного универсального состязательного возмущения, алгоритм находит один конкретный вектор, который будет выполнять свою работу. Если вы включите его снова, он может найти другие. Вам даже не нужно показывать алгоритму всю обучающую выборку, чтобы найти такие возмущения, кажется, достаточно всего одной фотографии из каждого класса — хотя чем больше вы используете, тем больше шансов найти хорошее универсальное возмущение.
Вы можете прочитать статью, если хотите получить более подробные сведения, но вывод состоит в том, что существуют универсальные состязательные возмущения для общего класса естественных изображений, которые изменят классификацию, по-видимому, независимо от деталей нейронной сети.
Это почти как открытие нового закона природы.
Поскольку результат в значительной степени не зависит от способа изучения классификации, он должен быть свойством изображений. Кажется, это говорит нам о том, что статистика естественных изображений такова, что границы принятия решений — поверхности в многомерном пространстве данных — таковы, что существует небольшое количество направлений, в которых вас ведет очень маленький шаг. граница. Другими словами, распределение изображений и границ классификации таково, что есть направления, в которых небольшой перенос имеет высокую вероятность пересечения границы. Другими словами, существуют направления, в которых каждая точка в пространстве очень близка к своей правильной границе класса, что позволяет легко переместить их за ее пределы,
Как выглядят эти возмущения:
Видно, что эти образцы разные, но имеют характерный вид.
Просто чтобы подчеркнуть, насколько странен этот результат — вы можете взять любое из вышеперечисленных изображений и добавить его к изображению, которое сеть правильно классифицирует с высокой вероятностью изменения его классификации, не изменяя то, как оно выглядит для человека.
Это, вероятно, самый важный вывод о природе нейронных сетей, и нам нужно выяснить, что это значит для искусственного зрения и, в частности, статистики естественных изображений.
Обновлять
Возможное объяснение и исправление
Майк Джеймс добавляет:
Сообщив об этой увлекательной находке и проблеме, я хотел сделать комментарий. Но вместо того, чтобы отправлять его в обычную область комментариев, я включил его сюда:
Рассмотрим задачу классификации: разделите многомерное пространство изображений nxm на c категорий. Это делит все пространство на c регионов, определяющих границы категорий.
Тот факт, что все пространство разделено, важен, потому что класс естественных изображений, то есть тех, которые действительно встречаются в мире, занимает лишь небольшую часть всего пространства. Другими словами, большинство изображений нельзя распознать как естественные — это шум или искусственные узоры, а не собаки, кошки или автомобили. Таким образом, существует также разделение пространства на естественные и неприродные изображения, которое не зависит от какого-либо метода классификации, который используется для разделения подпространства естественных изображений. Это разделение — фундаментальное свойство мира.
Это означает, что существуют направления, ведущие от естественного подпространства к неприродному, которые не зависят от метода классификации, используемого в естественном подпространстве. Эти векторы, очевидно, являются членами неприродного подпространства, и будут примеры с небольшой величиной.
Это универсальные враждебные векторы возмущения.
Добавление одного из этих векторов к естественному изображению перемещает его в неестественное подпространство, где оно имеет высокую вероятность ошибочной классификации — помните, что все пространство делится классификатором, а не только допустимое естественное подпространство. Классификация в неприродной области пространства, вероятно, будет случайной, потому что она не имеет естественной структуры — то есть она не похожа на собаку или кошку, поскольку представляет собой полурегулярный шумоподобный искусственный узор.
Решение проблемы — не распространять классификаторы на неприродную область. Это можно сделать, включив неестественный обучающий набор и категорию.
Таким образом, при показе естественного изображения, измененного универсальным состязательным возмущением, нейронная сеть должна выдавать категорию «неестественное или искаженное». Это было бы правильно в том смысле, что изображение было искажено, даже если человек не может воспринять этот факт, и устранит проблему, обнаружив естественные изображения с неестественным рисунком.
Это поднимает дополнительный вопрос для исследования: почему люди не воспринимают подделанное изображение как «неестественное или искаженное»?
Если вы хотите внести свой вклад в это обсуждение, используйте форму для комментариев или, если слишком длинный, напишите по адресу mike.james@i-programmer.info.