Max Home IndustryИсследователи безопасности продемонстрировали, что программное обеспечение для автоматического вождения Tesla можно легко обмануть, полагая, что краткие проекции объектов реальны и, следовательно, приводят к неправильному поведению. Это тревожно, но насколько?
Самостоятельное вождение автомобилей. Ваш ответ — либо «где они», либо «держите их подальше от моих дорог». Если вы знаете свой ИИ, вы почти наверняка поймете масштаб проблемы и поймете, почему компании годами пытались усовершенствовать технологию. Google, в форме или Waymo, пытается усовершенствовать самоуправление с 2009 года и только сейчас позволяет ему использовать его в довольно ограниченной и хорошо обозначенной области. Это единственная компания, предоставляющая коммунальные услуги без резервного водителя — это служба такси в Чандлере, штат Аризона.
В то же время Tesla предлагает бета-версию своего программного обеспечения Full Self Driving FSD. Однако это странное значение термина «Полное самоуправление», поскольку Тесла предупреждает, что ему нужен человеческий надзор, и «он может сделать неправильные вещи в худшее время». Что кажется более близким к истине, так это то, что это всего лишь обновление автопилота Tesla, а не полностью автономное вождение. Называя его самоуправляемым, Tesla поощряет его неправильное использование и тем самым получает бесплатное бета-тестирование программного обеспечения, в котором ошибки могут убить. Несомненно, что «нужен человеческий надзор» станет выходом, когда случится что-то плохое.
А что насчет попыток сделать что-то плохое?
Есть длинная версия этой истории, в которой много разных вещей проецировалось или мелькало перед Tesla и Mobileye 630 в попытке запутать систему. Например, на цифровом рекламном щите на несколько секунд был представлен дорожный знак, и автопилот Tesla ударил по тормозам. Если вы посмотрите видео-демонстрацию, вы, вероятно, испугаетесь, что систему можно так легко обмануть:
Если вы прочитаете полный текст статьи, в ней есть много других, немного ужасающих, если у вас есть воображение, примеров. Однако результаты не должны вызывать удивления. Причина в том, что обе системы избегают использования LIdar. Фактически, Илон Маск говорит, что любой, кто использует Lidar, проигрывает. Однако, если вы используете стандартную 2D-камеру, тогда, если вы не выберете двухсенсорное восприятие глубины параллакса, вы почти наверняка получите систему, которую обманывают 2D-изображения. В статье предлагается способ обучения нейронных сетей обнаруживать реальный мир, в отличие от проецируемых, изображений — отраженного света, контекста, поверхности и глубины. Подход на основе 3D-сенсора был бы лучше, в конце концов, вы пытаетесь ни с чем не столкнуться и быть на 100% уверенным, как далеко все далеко от машины, кажется легкой задачей.
Конечно, xkcd пришел к такому же выводу много веков назад! Спасибо, Сэм!
Затем мы подходим к вопросу о том, доказывают ли эти результаты, что система автономного вождения на основе 2D по своей сути хуже человека. В большинстве случаев водить машину относительно легко — держите машину между линиями и старайтесь не врезаться в заднюю часть идущего впереди автомобиля. Просто изредка происходит что-то странное и неординарное — животное выскакивает на дорогу, припаркованная машина внезапно выезжает на полосу и так далее. Люди имеют дело с такими вещами, и системам автоматического вождения должно быть легко. Затем происходят действительно странные вещи — полиэтиленовый пакет, который внезапно взрывается и на долю секунды выглядит как человек, солнце светит вам в глаза, и ваше зрение ухудшается, внезапно загорается рекламная реклама, и вы отводите глаза бездорожье. Я уверен, что в ту долю секунды, в которую были представлены некоторые из этих фантомов, я сильно затормозил бы в той же ситуации — хотя бы из осторожности.
И да, это Илон.
Системы беспилотного вождения убьют людей, и это вызовет обратную реакцию. Важно то, сколько человек и какие ошибки. Я не думаю, что проецирование 2D-изображений на дорогу — это то, что должно умалять успех или усугублять неудачи.
Нам нужны законы, которые запрещают подобные действия. Атака критически важного ИИ должна быть такой же, как и нападение на рассматриваемую жизнь.