Max Home IndustryУспех автономных транспортных средств зависит от их безопасности и надежности. Исследователи безопасности выяснили, как легко обмануть беспилотный Tesla, приклеив ленту на знак ограничения скорости и проецируя голограмму двойника Илона Маска на проезжую часть.
Команда McAfee Advanced Threat Research, возглавляемая Стивом Повольным, придумала термин «взлом моделей», чтобы описать использование состязательных атак, нацеленных на модели и функции искусственного интеллекта. Удаление стандартного знака со скоростью 35 миль в час с использованием всего лишь 2-дюймовой полосы черной изоленты стало кульминацией серии лабораторных тестов, показывающих, как обмануть алгоритмы машинного обучения, чтобы они неправильно классифицировали дорожные знаки с помощью системы камер MobileEye и Tesla Model S как испытуемые.
Как показано на видео, с этим небольшим изменением ADAS (расширенная система помощи при вождении) на Tesla Model S обнаружила знак ограничения скорости, интерпретировала знак 35 миль в час как указание на 85 миль в час и уехала.
Как мы ранее отмечали относительно состязательных изображений, небольших изменений, которые, конечно, часто даже не замечаются людьми, которые продолжают видеть то, что они ожидают увидеть, достаточно, чтобы ввести в заблуждение нейронные сети, используемые системами компьютерного зрения. Таким образом, McAfee определила ситуацию, в которой автономные транспортные средства подвергаются большему риску. Кроме того, люди, которые пытались решить, было ли это 35 или 85 баллов, принимали во внимание подсказки из контекста. Однако настройки для этого теста не предлагали такой дополнительной информации, поскольку он имел место на том, что выглядело как пустая парковка, и поэтому отсутствовала возможность проверки вероятности какого-либо конкретного ограничения скорости.
Другой тип проблемы восприятия систем помощи водителю был продемонстрирован исследователями из Университета Бен-Гуриона, которые исходили из предпосылки, что отсутствие возможности проверки визуального восприятия делает полу / полностью автономные транспортные средства уязвимыми для злонамеренных атак. Они создали бездонные объекты, называемые «фантомами», с помощью установленных на дронах проекторов, чтобы обмануть ADAS, что объекты находятся на дороге впереди. Создание фигуры в смокинге на основе Илона Маска заставило Tesla Model X тормозить и уклоняться, что могло поставить ее на пути встречных транспортных средств.
Исследователи также спроектировали поддельные знаки ограничения скорости и поддельную дорожную разметку, что также ввело в заблуждение системы автопилота. Водители-люди вполне могли быть обмануты фальшивой дорожной разметкой и, вероятно, не знали, как реагировать на призрачного Илона Маска, вырисовывающегося на дороге перед ними.
Комментируя исследование, Бен Насси, ведущий автор статьи «Призрак ADAS: фантомные атаки на системы помощи водителю» и доктор философии. Студент профессора Ювала Еловичи на факультете программного обеспечения и информационных систем БГУ сказал:
«Этот тип атак в настоящее время не принимается во внимание автомобильной промышленностью. Это не ошибки или плохие ошибки кодирования, а фундаментальные недостатки в детекторах объектов, которые не обучены различать реальные и поддельные объекты и использовать сопоставление функций для обнаружения визуальных объектов. . »
Фактически, системы компьютерного зрения, вероятно, можно научить различать одномерные фантомы и твердые объекты, а не людей-водителей. Однако есть и другой подход к проблемам этого типа — законодательный. Пришлось принять законы, разрешающие использование автономных транспортных средств на дорогах, и, возможно, нам нужны дополнительные правила и нормы для защиты как беспилотных автомобилей, так и водителей-людей от злонамеренного поведения, такого как изменение дорожных знаков и проецирование вводящих в заблуждение изображений на проезжую часть. Возможно, соответствующее законодательство уже существует и только ждет, чтобы его использовали. В любом случае не всегда нужно улучшать искусственный интеллект, но нужно руководствоваться здравым смыслом.