Max Home IndustryКак оживает книга комиксов, исследователи из Стэнфордского университета разработали своего рода рентгеновское зрение — только без рентгеновских лучей. Работая с аппаратным обеспечением, аналогичным тому, которое позволяет автономным автомобилям «видеть» окружающий мир, исследователи усовершенствовали свою систему с помощью высокоэффективного алгоритма, который может восстанавливать трехмерные скрытые сцены на основе движения отдельных частиц света или фотонов. В ходе испытаний, подробно описанных в статье, опубликованной 9 сентября в Nature Communications , их система успешно реконструировала формы, скрытые пеной толщиной 1 дюйм. Для человеческого глаза это похоже на вид сквозь стены.
«Многие методы визуализации делают изображения немного лучше, менее шумными, но именно здесь мы делаем невидимое видимым», — сказал Гордон Ветцштейн, доцент кафедры электротехники в Стэнфорде и старший автор. бумаги. «Это действительно расширяет границы того, что может быть возможно с помощью любой сенсорной системы. Это похоже на сверхчеловеческое зрение».
Этот метод дополняет другие системы зрения, которые могут видеть сквозь препятствия в микроскопическом масштабе — для приложений в медицине — поскольку он больше ориентирован на крупномасштабные ситуации, такие как навигация на беспилотных автомобилях в тумане или сильном дожде и спутнике. получение изображений поверхности Земли и других планет через туманную атмосферу.
Сверхзрение от рассеянного света
Чтобы видеть сквозь окружающую среду, которая рассеивает свет во все стороны, система соединяет лазер со сверхчувствительным детектором фотонов, который регистрирует каждый бит лазерного света, попадающий на него. Когда лазер сканирует препятствие, такое как стена из пенопласта, случайный фотон может пройти сквозь пену, ударить предметы, спрятанные за ним, и пройти обратно через пену, чтобы достичь детектора. Программное обеспечение, поддерживаемое алгоритмом, затем использует эти несколько фотонов — и информацию о том, где и когда они попадают в детектор — для восстановления скрытых объектов в 3D.
Это не первая система, способная обнаруживать скрытые объекты через рассеивающую среду, но она позволяет обойти ограничения, связанные с другими методами. Например, некоторые требуют знания о том, как далеко находится интересующий объект. Также часто эти системы используют информацию только от баллистических фотонов, которые представляют собой фотоны, которые перемещаются к скрытому объекту и от него через поле рассеяния, но фактически не рассеиваются по пути.
«Мы были заинтересованы в том, чтобы получить изображение через рассеивающую среду без этих предположений и собрать все рассеянные фотоны для восстановления изображения», — сказал Дэвид Линделл, аспирант в области электротехники и ведущий автор статьи. . «Это делает нашу систему особенно полезной для крупномасштабных приложений, где будет очень мало баллистических фотонов».
Чтобы сделать свой алгоритм поддающимся сложностям рассеивания, исследователям пришлось тесно сотрудничать со своим аппаратным и программным обеспечением, хотя аппаратные компоненты, которые они использовали, лишь немного более продвинуты, чем то, что в настоящее время используется в автономных автомобилях. В зависимости от яркости скрытых объектов сканирование в их тестах занимало от одной минуты до одного часа, но алгоритм реконструировал скрытую сцену в реальном времени и мог быть запущен на ноутбуке.
«Вы не могли видеть сквозь пену собственными глазами, и даже просто глядя на измерения фотонов с детектора, вы действительно ничего не видите», — сказал Линделл. «Но с помощью всего лишь нескольких фотонов алгоритм реконструкции может обнажить эти объекты — и вы можете увидеть не только то, как они выглядят, но и их местонахождение в трехмерном пространстве».
Космос и туман
Когда-нибудь потомок этой системы может быть отправлен через космос на другие планеты и луны, чтобы помочь видеть сквозь ледяные облака более глубокие слои и поверхности. В ближайшем будущем исследователи хотели бы поэкспериментировать с различными средами рассеяния, чтобы смоделировать другие обстоятельства, в которых эта технология могла бы быть полезной.
«Мы рады продвинуть это дальше с помощью других типов геометрии рассеяния», — сказал Линделл. «Итак, не просто объекты, спрятанные за толстым слоем материала, но и объекты, погруженные в плотно рассеивающий материал, что было бы похоже на наблюдение объекта, окруженного туманом».
Линделл и Ветцштейн также с энтузиазмом относятся к тому, что эта работа представляет собой глубоко междисциплинарное пересечение науки и техники.
«Эти сенсорные системы представляют собой устройства с лазерами, детекторами и передовыми алгоритмами, что ставит их в междисциплинарную область исследований между аппаратным обеспечением, физикой и прикладной математикой», — сказал Ветцштейн. «Все это важные, ключевые области в этой работе, и это то, что меня больше всего волнует».