Max Home IndustryВ настоящее время много говорят о новой «зиме искусственного интеллекта», вызванной перекупом возможностей глубокого обучения. Новое исследование, которое буквально решает проблему слона в комнате, используется для разжигания негативной шумихи. Действительно ли системы видения глубокого обучения имеют серьезные недостатки? Неужели мы полностью на ложном пути?
Последние исследования поведения сверточных нейронных сетей сосредоточены на трекерах или детекторах объектов, которые являются немного более специализированной версией более общей сверточной сети. Вместо того, чтобы просто классифицировать фотографию как собаку или кошку, детектор объектов должен размещать ограничивающие рамки вокруг любых собак или кошек, которых он обнаруживает на фотографии. Ясно, что способность распознавать кошку или собаку — это тот же навык, но детектор объектов должен обрабатывать все изображение и отбрасывать большинство подобластей как не представляющих интереса.
Большая и пока не решенная проблема всех нейронных сетей — это наличие состязательных изображений. Если сеть правильно классифицирует фотографию, скажем, как кошку, то можно выработать очень небольшое изменение значения пикселя в изображении, которое приведет к тому, что изображение будет классифицировано как что-то еще — скажем, собака — и все же изменения настолько малы, что человек их просто не видит. То есть состязательный образ выглядит для человека как кошка, но в сети он классифицируется как собака или что-то еще. Это достаточно странная идея, но вы можете пойти дальше и создать так называемые универсальные состязательные образы, которые с высокой вероятностью обманут ряд сетей, независимо от их точной архитектуры или обучения.
Последняя работа Амира Розенфельда, Ричарда Земеля и Джона К. Цоцоса «Слон в комнате» посвящена уязвимости обнаружения объектов с помощью глубокого обучения. Они создали альтернативный вид враждебного образа, поместив в комнату слона. Возьмите обученный детектор объектов и покажите ему сцену, которую он правильно пометит. Теперь поместите в сцену неожиданный объект — скажем, слона — и детектор объектов не только неправильно помечает слона, но и изменяет объекты, которые он маркирует, с неправильной классификацией.
Обнаружение объекта с невидимым слоном — лично я еще не осознал, что это работает так хорошо.
Да, в комнате есть слон, и детектор объектов делает человеческие вещи, а не говорит об этом. Также обратите внимание, что чашка теперь не обнаружена — небольшое изменение, говорю я, учитывая, что в комнате есть слон.
Это, конечно, используется как доказательство того, что текущий ИИ просто не работает. Процитирую недавнюю статью в Quanta:
«Это умное и важное исследование, которое напоминает нам, что« глубокое обучение »на самом деле не такое уж глубокое», — сказал Гэри Маркус, нейробиолог из Нью-Йоркского университета, не имевший отношения к этой работе.
Что ж, да, глубокое обучение не такое уж глубокое, но большинство читателей поймут не это. Существует неуместная реакция на это исследование из-за переоценки того, что такое ИИ. и, в частности, глубокое обучение. заявляет. У нас пока нет искусственного мозга, а наши глубокие нейронные сети крошечные по сравнению с мозгом. Однако они замечательны тем, как систематизируют и обобщают данные, и нам нужно изучать, что происходит даже на этом базовом уровне.
Да, глубокие нейронные сети не являются глубокими по сравнению с мозгом, и это исследование эквивалентно тому, чтобы показать глазу и зрительному нерву несколько изображений и удивиться, когда он покажет это, когда слон заставит все пойти не так.
Наши нейронные сети — это строительные блоки будущего ИИ. Нет смысла, в котором глубокая нейронная сеть рассуждает о мире. У него нет внутреннего лингвистического представления, которое позволяло бы ему рассуждать, что слона здесь не должно быть, и в результате он не бросает второго взгляда.
В настоящее время наши глубокие нейронные сети являются статистическими анализаторами, и если вы бросите им статистическую аномалию, они ошибаются. Это не повод подвергать резкой критике и говорить, что трехлетний ребенок мог бы добиться большего успеха. Это не искусственный ребенок в отличие от настоящего ребенка, а небольшой изолированный кусок «искусственного мозга» с жалко малым количеством нейронных аналогов — мы должны удивляться тому, что они достигают даже того, что делают.
Тем не менее, исследование поднимает несколько вполне реальных вопросов. В конце концов, со статистической точки зрения неудивительно, что слон или другой неуместный предмет были классифицированы неправильно. Это статистическая аномалия. Что еще более удивительно, так это то, что присутствие слона приводит к тому, что классификатор неправильно воспринимает объекты в других областях изображения.
Почему происходит взаимодействие?
Это возвращает нас к другому виду состязательного образа. Похоже, что состязательные изображения находятся за пределами статистического распределения обучающей выборки сети — они не похожи на естественные изображения. Если вы посмотрите на возмущения, которые добавляются к изображениям, чтобы их неправильно классифицировать, то обычно это обычные полосы или регулярные шумы, совершенно непохожие на все, что встречается в естественном изображении. Этот шум выводит изображение за пределы набора изображений, с которыми сеть была обучена работать, и поэтому ошибочная классификация не может быть такой неожиданной.
Как это применимо к слону в комнате?
Тот же аргумент. Слон вырезан и вставлен в изображение. Наличие редактируемых краев и изменений фона, вероятно, переместит изображение из набора естественных изображений в набор обработанных изображений, и, следовательно, у нас есть та же проблема.
Авторы статьи предполагают, что это действительно часть проблемы — см. «Примеры вне распространения» — однако они также предлагают некоторые другие возможности. В частности, вы можете подумать, что обнаружение объектов не пострадает из-за отсутствия локальности, вызванного размещением слона на некотором расстоянии от объекта, который становится неправильно классифицированным. К сожалению, это ожидание не учитывает тот факт, что на данный момент нейронные сети плохо масштабируются. Они должны быть обучены обнаруживать объекты разных размеров на изображении, а это приводит к нелокальным эффектам.
Исследование не подчеркивает тот факт, что глубокие нейронные сети чрезмерно заявляют о своих возможностях. Это подчеркивает то, что без понимания того, что происходит, невиновный может прочитать слишком много о исключительной производительности детекторов объектов. Нам необходимо продолжить изучение того, как входящие в противоборства данные показывают, как на самом деле работают нейронные сети, и мы должны понимать, что настоящий ИИ не будет задействовать одну сеть, какой бы глубокой она ни была.