Max Home IndustryНедавно в одной статье сообщалось, что нейронные сети, похоже, имеют фундаментальную проблему в распознавании вещей, теперь у нас есть еще один поворот к той же основной идее. В этом случае вы можете создать изображение, которое совершенно не похоже на то, чем оно должно быть, но при этом классифицируется с высокой степенью уверенности.
В статье «Интригующие свойства нейронных сетей», подготовленной командой, в которую входят авторы исследовательского проекта Google по глубокому обучению, о котором мы сообщали в мае (см. Недостаток, скрывающийся в каждой глубокой нейронной сети), было обнаружено нечто удивительное и тревожное.
Если у вас есть DNN глубокой нейронной сети, которая обучена правильно распознавать фотографии разных вещей, то рядом с любым правильно классифицированным изображением есть изображение, которое неправильно классифицировано. Например, если у вас есть фотография автомобиля, и DNN классифицирует его с высокой вероятностью как автомобиль, то можно найти набор небольших искажений изображения, которые не меняют его внешний вид для человека, но которые вызывают DNN, чтобы классифицировать его как что-то еще — даже если для человека, возможно, нет заметных изменений в изображении.
Проще говоря — очень близко к любому правильно классифицированному изображению есть неправильно классифицированное изображение, изображение состязания, которое для человека выглядит очень мало по-другому.
Обратите внимание, что это не теорема, а просто наблюдение, основанное на практическом исследовании относительно небольшого числа DNN. Тем не менее, тот факт, что эти DNN демонстрируют эффект, а состязательные образы, по-видимому, неправильно классифицируются другими DNN, предполагает, что происходит что-то глубокое и универсальное.
Изменения небольшие и распределяются по всем пикселям, и все же они перемещают «точку данных» за границу, которая отделяет все автомобили от других типов вещей. В исходной статье эти состязательные изображения были найдены с помощью алгоритма оптимизации, который применял возмущения, которые перемещали изображение из его правильного класса.
Теперь у нас есть новая демонстрация этого эффекта. В этом случае Ань Нгуен, Джейсон Йосински и Джефф Клун использовали генетический алгоритм для «скрещивания» изображений, которые были правильно классифицированы с высокой вероятностью или достоверностью, но, тем не менее, для человека не выглядели как объект, которым они должны были быть. .
Действительно, изображения, которые DNN так уверенно классифицировали, были больше похожи на белый шум для человека. например, на диаграмме ниже показаны «цифровые» изображения, классифицируемые DNN LeNet с достоверностью 99,99%:
Небольшая настройка алгоритма может генерировать более правильные изображения, которые классифицируются как цифры с достоверностью 99,99%, но все же не похожи на цифры, по мнению большинства людей:
Затем тот же метод был применен к базе данных Imagenet с аналогичными результатами, следующие были распознаны со средней достоверностью 99,12%:
В этом случае вы иногда можете увидеть некоторое сходство в характеристиках — например, нематода, прожектор и столб. Однако кажется, что происходит то, что изображения стимулируют детекторы признаков низкого уровня, но не организованным образом. Если локализованное изображение стимулирует DNN, то изображение, которое включает в себя повторяющиеся копии, увеличивает общую стимуляцию. Чтобы проверить это, некоторые изображения, включающие повторы, были отредактированы, чтобы уменьшить количество повторов, и уверенность действительно упала.
При построении таких примеров подход с использованием генетического алгоритма не является существенным. Команда также использовала стандартный метод оптимизации для создания изображений, которые были в основном неузнаваемыми, но при этом классифицировались с высокой степенью достоверности.
Все это говорит о том, что DNN изучают функции низкого и среднего уровня и не используют то, как они соотносятся друг с другом. Например, лицо будет распознано, если у него есть два глаза, нос и рот, независимо от того, где они находятся на изображении.
Также кажется, что существует обобщение — изображения, созданные для того, чтобы с высокой степенью достоверности классифицироваться по одной DNN, по-видимому, с высокой степенью достоверности классифицируются по другой.
Так, что происходит?
Авторы предполагают, что проблема связана с тем, как проводится дискриминация. DNN назначает каждому классу большой объем в пространстве изображения, и достоверность пропорциональна тому, насколько далеко от границы находится изображение — насколько близко оно к другим изображениям в классе, не принимается во внимание. Доступного места так много, что можно найти изображения, которые находятся в классе, но далеки от изображений, которые выглядят как класс.
Это очень похоже на аргументы, которые привели к изобретению машины опорных векторов. Возможно, DNN нужно оптимизировать что-то другое, кроме чистой производительности классификации?
В конце статьи авторы поднимают интересный вопрос о том, как эти открытия влияют на использование DNN в реальных приложениях. Например, камеру видеонаблюдения можно обмануть «белым шумом», классифицированным как лицо. Возможно, правильные фоновые обои могут повлиять на классификаторы визуального поиска. Возможности ждут, чтобы их использовали. Идея о том, что беспилотный автомобиль может опасно повернуть, чтобы избежать чего-то, что совсем не похоже на пешехода, в настоящее время очень возможна — либо случайно, либо намеренно.