Max Home IndustryНовая программная система, разработанная исследователями Университета Брауна, превращает сотовые телефоны в порталы дополненной реальности, позволяя пользователям размещать виртуальные строительные блоки, мебель и другие объекты на фоне реального мира и использовать свои руки для управления этими объектами, как если бы они были действительно есть.
Разработчики надеются, что новая система, получившая название Portal-ble, может стать инструментом для художников, дизайнеров, разработчиков игр и других лиц, чтобы экспериментировать с дополненной реальностью (AR). Команда представит свою работу позже в этом месяце на симпозиуме ACM по программному обеспечению и технологиям пользовательского интерфейса (UIST 2019) в Новом Орлеане. Исходный код Andriod находится в свободном доступе для загрузки на веб-сайте исследователей, а код для iPhone скоро появится.
«AR станет отличным новым способом взаимодействия», — сказал Джефф Хуанг, доцент кафедры информатики в Brown, который разработал систему со своими учениками. «Мы хотели сделать что-то, что сделало бы AR портативным, чтобы люди могли использовать его где угодно без громоздких гарнитур. Мы также хотели, чтобы люди могли взаимодействовать с виртуальным миром естественным образом, используя свои руки».
Хуанг сказал, что идея «практического» взаимодействия Portal-ble возникла из-за некоторого разочарования в приложениях AR, таких как Pokemon GO. Приложения AR используют смартфоны для размещения виртуальных объектов (например, персонажей покемонов) в реальных сценах, но для взаимодействия с этими объектами пользователи должны проводить пальцем по экрану.
«Смахивание пальцем — не лучший способ взаимодействия, — сказал Хуанг. «В реальном мире мы взаимодействуем с объектами руками. Мы поворачиваем дверные ручки, поднимаем и бросаем вещи. Поэтому мы подумали, что ручное управление виртуальными объектами будет намного эффективнее, чем смахивание. В этом отличие Portal-ble».
В платформе используется небольшой инфракрасный датчик, установленный на задней панели телефона. Датчик отслеживает положение рук людей по отношению к виртуальным объектам, позволяя пользователям поднимать объекты, переворачивать их, складывать или бросать. Это также позволяет людям виртуально «рисовать» фоны реального мира. В качестве демонстрации Хуанг и его ученики использовали систему, чтобы нарисовать виртуальный сад в зеленой зоне кампуса Браунс-Колледж-Хилл.
Хуанг говорит, что основной технический вклад в работу заключался в разработке правильных приспособлений и инструментов обратной связи, позволяющих людям интуитивно взаимодействовать с виртуальными объектами.
«Оказывается, подобрать виртуальный объект очень сложно, если вы попытаетесь применить физику реального мира», — сказал Хуанг. «Люди пытаются схватить не в том месте или просовывают пальцы в предметы. Поэтому нам пришлось наблюдать, как люди пытались взаимодействовать с этими объектами, а затем заставить нашу систему приспособиться к этим тенденциям».
Для этого Хуанг привлек студентов в класс, который он преподавал, чтобы они придумывали задачи, которые они могли бы захотеть выполнять в мире AR, например, складывание набора блоков. Затем ученики попросили других людей попробовать выполнить эти задачи с помощью Portal-ble, записывая, что люди могли делать, а что нет. Затем они могли настроить физику системы и пользовательский интерфейс, чтобы сделать взаимодействие более успешным.
«Это немного похоже на то, что происходит, когда люди рисуют линии в Photoshop», — сказал Хуанг. «Линии, которые рисуют люди, никогда не бывают идеальными, но программа может сгладить их и сделать идеально прямыми. Именно такие приспособления мы пытались сделать с этими виртуальными объектами».
Команда также добавила сенсорную обратную связь — визуальное выделение объектов и вибрацию телефона — чтобы упростить взаимодействие. Хуанг сказал, что он несколько удивлен, что вибрация телефона помогает пользователям взаимодействовать. Пользователи ощущают вибрацию в руке, в которой они держат телефон, а не в руке, которая на самом деле хватается за виртуальный объект. Тем не менее, по словам Хуанга, виброотклик по-прежнему помогает пользователям более успешно взаимодействовать с объектами.
В последующих исследованиях пользователи сообщили, что приспособления и обратная связь, используемые системой, значительно упрощают выполнение задач, отнимают меньше времени и приносят большее удовлетворение.
Хуанг и его ученики планируют продолжить работу с Portal-ble, расширяя его библиотеку объектов, улучшая взаимодействия и разрабатывая новые виды деятельности. Они также надеются оптимизировать систему, чтобы она работала полностью на телефоне. В настоящее время инфракрасный датчик требует инфракрасного датчика и внешнего вычислительного модуля для дополнительной вычислительной мощности.
Хуанг надеется, что люди загрузят свободно распространяемый исходный код и попробуют его сами.
«Мы просто хотим выложить это и посмотреть, что люди с этим делают», — сказал он. «Код находится на нашем веб-сайте, и люди могут его скачать, отредактировать и построить. Будет интересно посмотреть, что люди с ним делают».
Посмотрите видео о Portal-ble в действии: https://youtu.be/ZYMjhKMpNXk
Соавторами исследования были Цзин Цянь, Цзяцзю Ма, Сянью Ли, Бенджамин Аттал, Хаомин Лай, Джеймс Томпкин и Джон Хьюз. Работа поддержана Национальным научным фондом (IIS-1552663) и подарком от Pixar.