Дебют естественного языка интерфейса для визуализации данных

Повсеместное распространение и огромный объем данных, генерируемых сегодня, дают экспертам практически во всех областях обширную информацию для отслеживания всего: от финансовых тенденций, маршрутов эвакуации при бедствиях и уличного движения до миграций животных, погодных условий и переносчиков болезней. Но использование этих данных для создания визуализаций сложных прогнозных моделей с использованием машинного обучения является проблемой для экспертов, не обладающих необходимыми навыками в области компьютерных наук.

Команда лаборатории визуализации и анализа данных (VIDA) инженерной школы Нью-Йоркского университета имени Тандона под руководством Клаудио Силва, профессора кафедры информатики и инженерии, разработала фреймворк под названием VisFlow, с помощью которого те, кто не может быть экспертом в машинном обучении может создавать очень гибкие визуализации данных практически из любых данных. Кроме того, команда упростила и сделала более интуитивно понятным редактирование этих моделей, разработав расширение VisFlow под названием FlowSense, которое позволяет пользователям синтезировать конвейеры исследования данных через интерфейс естественного языка.

Исследование «FlowSense: интерфейс на естественном языке для визуального исследования данных с помощью системы потока данных» получило награду за лучший доклад на конференции IEEE по науке и технологиям визуальной аналитики (VAST) в этом году.

Во вторник, 22 октября, Боуэн Ю, получивший докторскую степень в Нью-Йоркском университете Тандон под руководством Сильвы, представит доклад на первом пленарном заседании конференции по визуализации IEEE (IEEE VIS) в Ванкувере, Британская Колумбия. Исследование — одна из нескольких статей, посвященных исследованиям VIDA, которые будут представлены на IEEE VIS, ведущей площадке для исследований в области визуализации и ведущей конференции по компьютерной графике.

На конференции сотрудники VIDA, которая зарекомендовала себя как ведущий исследовательский центр в области визуализации данных, представят проекты моделирования визуализации с приложениями в астрономии, медицине и исследованиях климата, разработанные в центре или совместно с ним:

• OpenSpace, система астрографии, используется во всем мире в планетариях, музеях и других местах для исследования Солнечной системы и Вселенной.
• Браузер движений: визуализация и понимание сложных движений верхних конечностей в акушерстве Травмы плечевого сплетения — это сотрудничество между компьютерными специалистами, хирургами-ортопедами и врачами-реабилитологами, которое может привести к новым методам лечения травм плечевого нерва и гипотезам для будущих исследований.
• Влияние цветовых шкал на объективные и субъективные оценки ученых-климатологов Производительность в задачах анализа пространственных данных — это веб-исследование пользователей, в котором подробно рассматривается эффективность широко используемой практики наложения c цветовые шкалы на географических картах

VisFlow, представленный в 2017 году и частично финансируемый программой Data Driven Discovery of Models Агентства перспективных исследовательских проектов Министерства обороны, представляет собой веб-платформу, которая позволяет пользователю использовать простые действия перетаскивания для легкого взаимодействия с данными, позволяющие пользователям создавать визуальные модели данных на основе временных рядов, сетей, географических местоположений и т. д., все из которых могут быть сформированы в компактную и интерактивную панель визуализации.

Ю сказал, что FlowSense развивает эти возможности еще дальше. «Представьте, если бы можно было просто сказать или ввести предложение, чтобы активировать диаграмму потока данных», — сказал он. «Эта возможность сделает неспециалистов более удобными для пользователей, в то же время предоставив опытным пользователям ярлыки. Мы считаем, что с поддержкой естественного языка мы можем уменьшить кривую обучения для такой системы и сделать поток данных более доступным», — сказал он.

Сильва, научный сотрудник IEEE, связанный с Институтом математических наук Куранта Нью-Йоркского университета, Центром науки о данных, Центром городских наук и прогресса и Центром передовых технологий в области телекоммуникаций, добавил: «Мы предлагаем VisFlow и FlowSense в качестве Фреймворки на основе кода с открытым исходным кодом и общедоступные на github, как способ мотивировать дальнейшую разработку для целей визуализации. В этой области действительно можно провести гораздо больше исследований, и я надеюсь, что FlowSense будет стать основным стимулом для более совместной работы, чтобы сделать системы потока данных более гибкими, простыми в использовании и популярными среди аналитиков данных «.

Это исследование проводится при поддержке Научно-исследовательской среды Мура-Слоана в Нью-Йоркском университете, НАСА и Национального научного фонда.