Max Home IndustryВ нашу эпоху больших данных в научных вычислениях есть некоторые проблемы, которые настолько велики, настолько сложны и содержат так много информации, что попытка их решения была бы слишком сложной задачей для большинства компьютеров.
Теперь исследователи из инженерной школы Маккелви при Вашингтонском университете в Сент-Луисе разработали новый алгоритм для решения общего класса задач, известных как линейные обратные задачи, путем разбиения их на более мелкие задачи, каждая из которых которые можно решать параллельно на стандартных компьютерах.
Исследование, проведенное лабораторией младшего Шина Ли, профессора кафедры электротехники и электротехники Престона М. Грина. Системная инженерия, была опубликована 30 июля в журнале Scientific Reports .
Помимо создания основы для решения этого класса проблем, подход, называемый параллельным остаточным прогнозированием (PRP), также обеспечивает повышенную безопасность и снижает проблемы с конфиденциальностью.
Линейные обратные задачи — это задачи, которые пытаются взять данные наблюдений и попытаться найти модель, которая их описывает. В своей простейшей форме они могут показаться знакомыми: 2x + y = 1, x-y = 3. Многие старшеклассники решали относительно x и y без помощи суперкомпьютера.
И поскольку все больше исследователей в различных областях собирают все больше данных для более глубокого понимания, эти уравнения продолжают расти в размере и сложности.
«Мы разработали вычислительную структуру для решения случая, когда существуют тысячи или миллионы таких уравнений и переменных», — сказал Ли.
Этот проект был задуман во время работы над исследовательскими проблемами из других областей, связанных с большими данными. Лаборатория Ли работала с биологом, исследовавшим сеть нейронов, отвечающих за цикл сна и бодрствования.
«В контексте сетевого вывода, если рассматривать сеть нейронов, обратная задача выглядит так», — сказал Винеш Нараянан, научный сотрудник лаборатории Ли:
Учитывая данные, записанные с группы нейронов, какова «модель», описывающая, как эти нейроны связаны друг с другом?
«В более ранней работе нашей лаборатории мы показали, что эту задачу вывода можно сформулировать как линейную обратную задачу», — сказал Нараянан.
Если в системе несколько сотен узлов — в данном случае узлами являются нейроны — матрица, описывающая взаимодействие между нейронами, может быть миллионами; это огромно.
«Хранение этой матрицы превышает объем памяти обычного рабочего стола», — сказал Вэй Мяо, аспирант в лаборатории Ли.
Добавьте к этому тот факт, что такие сложные системы часто бывают динамичными, как мы их понимаем. «Скажем, у нас уже есть решение, но теперь я хочу рассмотреть взаимодействие некоторых дополнительных ячеек», — сказал Мяо. Вместо того, чтобы начинать новую проблему и решать ее с нуля, PRP добавляет гибкости и масштабируемости. «Вы можете манипулировать проблемой, как хотите».
Даже если у вас есть суперкомпьютер, — сказал Мяо, — «все еще есть шанс, что, разбив большую проблему, вы сможете решить ее быстрее».
Помимо разбиения сложной проблемы и параллельного решения на разных машинах, вычислительная структура также, что важно, объединяет результаты и вычисляет точное решение исходной проблемы.
Непреднамеренным преимуществом PRP является повышенная безопасность и конфиденциальность данных. Когда компании, выпускающие кредитные карты, используют алгоритмы для расследования случаев мошенничества или когда больница хочет проанализировать свою огромную базу данных, «Никто не хочет предоставлять весь этот доступ одному человеку», — сказал Нараянан.
«Это было дополнительное преимущество, к которому мы даже не стремились», — сказал Нараянан.