Max Home IndustryРеволюция Alexa, Google Voice, Siri или Cortana привносит голосовое управление в каждый дом. Революция искусственного интеллекта началась незаметно для нас, и это далеко не безопасно. Кажется, довольно легко отдавать команды, которые распознаются устройством, но звучат совершенно невинно для человека.
В каждой нейронной сети есть изъян, и мы уже давно о нем знаем. На данный момент не известно о каком-либо конкретном исправлении, хотя есть много возможностей. Настоящее решение, вероятно, состоит в том, чтобы обнаружить, почему нейронные сети ведут себя именно так, и изменить их так, чтобы они вели себя как естественные нейронные сети.
Что это за недостаток?
Ответ прост: вы можете обучить сеть распознавать объекты с высокой степенью точности. Затем вы можете взять параметры сети и вычислить состязательное изображение из любого правильно классифицированного изображения. Состязательное изображение будет немного изменено, настолько незначительно, что человек не сможет увидеть разницу, но теперь нейронная сеть будет неправильно классифицировать изображение. В большинстве случаев, когда нейронная сеть неверно классифицирует изображение, человек может посочувствовать и понять ошибку — «да, эта собака действительно очень похожа на кошку», — но враждебное изображение показывает, насколько мы разные. Вы не можете поверить, что нейронная сеть хоть сколько-нибудь разумна, когда она утверждает, что изображение кошки — это банан или машина. Ошибочные классификации кажутся глупыми.
Проблема, однако, выходит за рамки глупости, когда различные исследовательские группы изобретают примеры, когда состязательные модификации могут быть внесены в реальный объект, чтобы ввести в заблуждение критически важные системы, такие как беспилотные автомобили.
До сих пор область состязательных входов была сосредоточена на искусственном зрении и используемых сверточных нейронных сетях, но теперь у нас есть примеры состязательных звуковых входов. Основная идея такая же, как и для наглядного корпуса. Вы обучаете сеть распознавать такие командные фразы, как «Окей, Google» или «Перенести мой биткойн …». Но теперь вместо того, чтобы превращать одну из команд во что-то, что не распознается, хотя звучит так же, вы берете другой звук. и вычислите, какой небольшой шум вы должны добавить к нему, чтобы он распознавался как одна из команд. Звуки, с которых вы начинаете, могут быть другой фразой, похожей командой, музыкой или просто шумом.
Это работает на практике?
Николас Карлини и Дэвид Вагнер из Калифорнийского университета использовали реализацию DeepSpeech в Mozilla и сумели преобразовать любую заданную звуковую волну во что-то, что на 99% похоже и звучит так же для человека, но распознается DeepSpeech как нечто совершенно иное. Вы можете услышать некоторые образцы и то, что сеть распознает их, как в Audio Adversarial examples.
Это работает, но они использовали модифицированные входные файлы, применяемые непосредственно к нейронной сети. Это впечатляет, но действительно беспокоит то, что его можно заставить работать по воздуху, то есть воспроизводя звук в микрофон на таком устройстве, как Echo dot. Это позволило бы встроить состязательный пример в радиопередачу или рекламу, скажем, и заставить множество устройств делать то, чего их владельцы могут не захотеть.
Группа исследователей из ряда университетов Китая и США и исследовательского центра IBM выполнили аналогичную процедуру, но с использованием музыки и системы распознавания голоса с открытым исходным кодом Kaldi. В данном случае они изобрели «CommanderSong», которая является модифицированной версией песни или музыки в целом, достаточно возмущенной, чтобы заставить Калди распознать команду, но недостаточно, чтобы человек-слушатель заметил или даже угадал, что это за команда. Они попытались применить измененные файлы Wav непосредственно к распознавателю и добились 100% успеха в том, что Калди ответил на встроенную команду, и человек не смог идентифицировать команду, скрытую в песне.
Затем они попытались воспроизвести файл Wav с помощью микрофона, чтобы уловить звуки. С действительно хорошим динамиком они добились успеха в 94%, а с другими меньшими динамиками, включая звук ноутбука, они смогли с 89% до 60%, но все же человек не имел представления, что это за скрытые команды. Вы можете услышать, как звучат песни, на Demo Commander song.
Насколько все это тревожно?
С академической точки зрения реальное беспокойство вызывает то, что состязательная проблема требует исследования и решения просто для того, чтобы выяснить, как нейронные сети можно сделать более похожими на настоящие сети.
С точки зрения безопасности достигнутого недостаточно. Обе состязательные атаки должны знать полные параметры нейронной сети, то есть они являются атаками белого ящика. Маловероятно, что, скажем, Amazon в ближайшее время опубликует дизайн и детали Alexa. Тем не менее, существуют атаки типа «черный ящик», при которых используется большой объем данных для проверки сети изображений и, в конечном итоге, для выявления примеров противоборства. На данный момент, насколько нам известно, этого не было сделано для аудио.
Дело в том, что состязательные изображения еще более странны, чем вы можете себе представить. Вы можете не только создать состязательный образ, обманывающий конкретную сеть, но и создать «универсальный» состязательный образ. Похоже, это может привести к неправильной классификации ряда различных сетей. На данный момент неясно, существуют ли универсальные состязательные аудиофайлы, которые можно использовать для того, чтобы устройство распознавания речи отвечало на команду, независимо от его точной конструкции. Если такие состязательные образцы аудио существуют, тогда можно будет спроектировать с использованием известной сети, а затем использовать состязательный звук для атаки на все устройства распознавания речи, которые слушают.
Идея о том, что кто-то может купить радиорекламу и воспроизвести скрытую команду на каждом устройстве, которое слушает Alexa и Google Voice, может показаться надуманной, но в мире безопасности, если есть лазейка, это только вопрос времени, когда кто-то займется этим. способ заработать деньги или причинить вред, используя его.