Facebook помогает ИИ смотреть на жизнь от первого лица

Долгосрочный исследовательский проект в области искусственного интеллекта (ИИ), возглавляемый Facebook, может помочь ответить на извечный вопрос: «Куда я положил эту штуку?».

Проект Ego4D направлен на улучшение понимания мира ИИ с «эгоцентрической» точки зрения от первого лица.

Есть надежда на повышение полезности таких устройств, как очки дополненной реальности (AR).

Например, это может позволить им помогать с такими задачами, как запоминание, где вы положили ключи.

В своем блоге Facebook утверждает, что «ИИ следующего поколения должен будет учиться на видео, которые показывают мир из центра событий».

ИИ, который понимает мир с этой «эгоцентрической точки зрения», может, по словам компании, помочь «иммерсивным устройствам», таким как очки AR и гарнитуры виртуальной реальности (VR), стать такими же полезными, как смартфоны.

Facebook давно проявляет интерес к виртуальной реальности, поскольку владеет производителем гарнитур Oculus.

Ожидается, что компания выпустит полноценные очки с дополненной реальностью, недавно сообщив BBC, что они все еще находятся в разработке.

Ego4D — это совместная работа по сбору «крупномасштабного эгоцентрического набора видеоданных» для помощи в разработке систем компьютерного зрения и искусственного интеллекта, которые помогают пользователям взаимодействовать с миром от первого лица.

Проект объединяет консорциум из 13 университетов и лабораторий из девяти стран.

По словам исследователей, набор данных включает «3025 часов видео о повседневной жизнедеятельности, охватывающих сотни сценариев (дом, на улице, на рабочем месте, досуг и т. Д.), Снятых 855 пользователями уникальных камер».

В настоящее время алгоритмы компьютерного зрения обучаются с использованием больших наборов данных изображений и видео, снятых от третьего лица.

«Системы искусственного интеллекта следующего поколения должны будут учиться на совершенно другом виде данных — видеороликах, которые показывают мир из центра событий, а не со стороны», — написала Кристен Грауман, ведущий научный сотрудник Facebook.

Наборы данных, которые, как утверждает Facebook, «в 20 раз превышают любые другие по количеству часов отснятого материала», будут доступны исследователям, подписавшим соглашение об использовании данных с ноября.

Компания также разработала пять «тестовых задач» для разработки более полезных помощников по ИИ. Facebook сказал:

• Что случилось когда? (например: «Где я оставил свои ключи?»)
• Что я буду делать дальше? (например: «Подождите, вы уже добавили соль в этот рецепт»)
• Что я делаю? (например: «Научи меня играть на барабанах»)
• Кто сказал, что когда? (например: «Какая основная тема во время урока?»)
• Кто с кем взаимодействует? (например: «Помогите мне лучше услышать человека, говорящего со мной в этом шумном ресторане»)

Но у Facebook иногда были сложные отношения с исследователями.

Мысль о том, что компания, которую жестко критиковали и оштрафовали за ее репутацию в области конфиденциальности, желает разработать технологии с таким интимным взглядом на нашу жизнь «от первого лица», также некоторых будет волновать.

Его новые фото-очки Ray-Ban Stories вызвали вопросы о конфиденциальности, несмотря на гораздо более ограниченные технологии.

Сайт технических новостей The Verge сообщил, что его беспокоит, «что тесты в этом проекте Ego4D не включают заметных мер защиты конфиденциальности».

Facebook сообщил публикации, что такие меры безопасности будут применяться по мере разработки приложений.