Max Home IndustryЭто еще одна глава в продолжающейся и продолжающейся истории всеобщих враждебных возмущений. В этом случае метод был расширен до сегментации изображения, и возмущения могут сделать пешеходов невидимыми для нейронной сети и при этом оставаться неизменными для человеческого зрения.
Прежде всего, я должен сказать, что весь ракурс «беспилотный автомобиль» немного ложный, но исследование было проведено Яном Хендриком Метценом и Фолькером Фишером из Центра искусственного интеллекта Bosch, а также Томасом Броксом и Муммади Чайфанией Кумар из Университета Фрайбурга. так что есть автомобильная связь. В документе, сообщающем о результатах, также используется пример удаления пешеходов. Однако это немного ненормально, потому что на данный момент, по крайней мере, большинство беспилотных автомобилей не используют нейронные сети, подключенные к видеокамере. Вместо этого они полагаются на массив датчиков, обработку сигналов и алгоритмы принятия решений. Есть примеры автомобилей, основанных на нейронных сетях, но на данный момент они еще не достаточно безопасны, чтобы им можно было доверять.
Проблема в том, как узнать, что будет делать нейронная сеть, если вы не совсем понимаете, как она работает?
Возмущения враждебности не новы, но они все же удивляют. Возьмите изображение, которое нейронная сеть классифицирует правильно, и добавьте небольшое изменение в пикселях, настолько маленькое, что человек не сможет его увидеть, и нейронная сеть неправильно классифицирует изображение. Для человека оригинал и искаженное изображение выглядят очень похожими, если не идентичными, и все же с одним сеть работает правильно, а с другим просто глупо. Это сюрприз, но еще более удивительно то, что существует набор универсальных возмущений, которые сделают эту работу. То есть вам не нужно создавать разрушающее изображение, чтобы добавить к правильно классифицированному изображению, есть много изображений, которые будут выполнять работу для всех правильно классифицированных изображений.
Новым в этом исследовании является то, что идея была расширена от классификации до сегментации. Это неудивительно, поскольку сегментация связана с классификацией. Сегментация — это правильная классификация пикселей, принадлежащих объекту. Так, например, сегментация используется для поиска и отслеживания местоположения пешеходов или любого интересующего объекта в видеопотоке. Стоит сказать, что нейронные сети — не единственный подход к сегментации, и существует множество успешных методов отслеживания объектов, которые не основаны на нейронных сетях.
Как вы могли догадаться, если следили за историей, вполне возможно построить универсальные возмущения, которые могут удалить данную категорию объектов из сегментации. Это звучит почти очевидно, но если вы посмотрите на пример, это не менее тревожно:
Вы можете видеть, что исходное изображение (а) и измененное изображение (в) выглядят одинаково, но куда подевались пешеходы? Более того, одно и то же состязательное изображение, добавленное к любому кадру видео, делает нейронную сеть слепой для пешеходов.
В документе говорится:
• Мы показываем существование универсальных состязательных возмущений для моделей семантической сегментации изображений в наборе данных Cityscapes.
• Мы предлагаем два эффективных метода генерации этих универсальных возмущений. Эти методы оптимизируют возмущения в обучающей выборке. Цель первых методов — позволить сети выдавать на выходе фиксированную целевую сегментацию. Цель второго метода — оставить сегментацию без изменений, за исключением удаления назначенного целевого класса.
• Мы эмпирически показываем, что генерируемые возмущения можно обобщить: они обманывают невидимые проверочные изображения с большой вероятностью. Управление мощностью универсальных возмущений важно для достижения этого обобщения на небольших обучающих выборках.
• Мы показываем, что универсальные возмущения, генерируемые для фиксированной целевой сегментации, имеют локальную структуру, напоминающую целевую сцену.
В заключении указывается:
Более того, противник может почти полностью исключить определенные классы (например, пешеходов), оставляя остальную часть карты классов почти неизменной.
Это означает, что возмущения не только не заметны, но и, за исключением отсутствующего класса, то есть пешеходов, другие классы в основном не затронуты. Так, например, вы можете создать возмущение, которое заставит автомобиль не видеть пешеходов, но при этом сможет видеть и избегать других автомобилей.
Является ли это большой проблемой для беспилотных автомобилей и аналогичных систем, критически важных для безопасности?
Не совсем. Злоумышленник должен будет ввести враждебное возмущение непосредственно в видеопоток автомобиля, и это будет означать физическое проникновение в автомобиль. Если есть способ удаленно влиять на видеопоток через Интернет транспортных средств, то эксплойт будет вполне реальным.
Как я уже отмечал ранее, я удивлен, что сообщество нейронных сетей ИИ, похоже, так сосредоточено на аспекте безопасности враждебных возмущений. Да, это шокирует, что видеопоток можно подделать для удаления пешеходов без какого-либо очевидного вмешательства, но гораздо интереснее спросить, что такого в нейронных сетях делает это возможным? Добавление шума со структурой, которая делает его не типичным для естественного изображения, по понятным причинам может заставить нейронную сеть ошибаться, но как мы можем научить сети игнорировать такое искусственное формирование паттернов?