Ваш смартфон шпионит за тем, что вы печатаете

Все, что вам нужно сделать, это положить телефон рядом с клавиатурой, чтобы любой мог прочитать, что вы набираете, — и все зависит от вибрации клавиш.

Мы все делаем это — кладем телефоны на стол рядом с клавиатурой. Это может быть не такой уж и хорошей идеей, если вы хотите оставить свою работу при себе.

Команда исследователей из Массачусетского технологического института и Технологического института Джорджии представила доказательство концепции регистрации нажатий клавиш с использованием только датчиков внутри смартфона — точнее, iPhone 4.
Первое интересное открытие заключается в том, что акселерометр внутри iPhone 3GS был недостаточно хорош, чтобы улавливать вибрацию клавиш, но iPhone 4 выдавал четкий сигнал. Это свидетельствует не только о том, что датчики становятся лучше, но и о реальных изменениях.
IPhone 4 был помещен в нескольких дюймах от клавиатуры, и клавиши нажимались, в то время как данные датчика передавались в две нейронные сети. Данные были обработаны для создания вектора признаков на основе диапазона временной и частотной информации. Одна сеть была обучена распознавать горизонтальное положение ключа, а другая — вертикальное. Частота сканирования была низкой, 100 Гц, из-за ограничений оборудования.
Простое обнаружение необработанных нажатий клавиш не дало очень точного результата, но переключение на подбор пар ключевых слов, а затем использование словаря слов дало полезное извлечение данных. Достигнута точность около 80%, но точность снижается с увеличением количества нажатий клавиш. Распознавание слов достигло только 46% точности, но это увеличилось до 73%, если были включены слова второго выбора. Очевидно, что семантический анализ может повысить точность.

Были эксперименты, которые восстанавливали текст, слушая шум клавиатуры, и они достигли немного более высокой точности, чем этот подход, основанный на вибрации. Ключевое отличие состоит в том, что в этом эксперименте использовался смартфон, а не настольный компьютер с большим микрофоном и высокоскоростной выборкой. Этот метод может быть менее точным, но он может быть упакован во вредоносное ПО для смартфонов и использоваться, чтобы никто не знал, что это происходит.
В документе описываются некоторые проблемы с этим методом — если телефон находится слишком далеко от клавиатуры, то вибрации недостаточно сильны, если пользователь стучит по столу или включает радио, то помехи слишком много, и если пользователь тоже печатает быстро процессор не успевает.
Так как же остановить такое подслушивание?
Оставьте телефон вне комнаты или положите его в сумку рядом со столом, а не на нем. Исследователи также предполагают, что в будущем API-интерфейсы могут быть изменены, чтобы ограничить частоту дискретизации ниже частоты Найквиста для прослушиваемых данных — скажем, в данном случае 30 Гц.
Интересно размышлять о том, насколько лучше инженерный дизайн может быть лучше, чем подход к обучению нейронной сети. Акселерометр действует так же, как сейсмометр, и у геологов есть множество методов для использования таких данных, чтобы определить, где произошло землетрясение. Возможно, те же методы обработки сигналов могли бы определить местоположение ключевых вибраций без необходимости использования контролируемого обучения.
Каким бы ни был окончательный результат, ясно, что со смартфоном в вашем распоряжении секретность и конфиденциальность далеко не гарантированы. Будьте осторожны, когда в следующий раз кто-нибудь оставит свой телефон на вашем столе.