Max Home IndustryИсследователи Массачусетского технологического института разработали тип нейронной сети, которая обучается на рабочем месте, а не только на этапе обучения. Эти гибкие алгоритмы, получившие название «жидких» сетей, изменяют лежащие в их основе уравнения, чтобы постоянно адаптироваться к новым входным данным. Прогресс может помочь в принятии решений на основе потоков данных, которые меняются со временем, в том числе тех, которые используются для медицинской диагностики и автономного вождения.
«Это путь в будущее управления роботами, обработки естественного языка, обработки видео — любой формы обработки данных временных рядов», — говорит Рамин Хасани, ведущий автор исследования. «Потенциал действительно велик».
Исследование будет представлено на февральской конференции AAAI по искусственному интеллекту. Помимо Хасани, постдока в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL), соавторами Массачусетского технологического института являются директор CSAIL Даниэла Рус, профессор электротехники и компьютерных наук Эндрю и Эрна Витерби и аспирант Александр Амини. Среди других соавторов — Матиас Лехнер из Института науки и технологий Австрии и Раду Гросу из Венского технологического университета.
По словам Хасани, данные временных рядов являются повсеместными и жизненно важными для нашего понимания мира. «Реальный мир — это все, что связано с последовательностями. Даже наше восприятие — вы не воспринимаете изображения, вы воспринимаете последовательности изображений», — говорит он. «Итак, данные временных рядов действительно создают нашу реальность».
Он указывает на обработку видео, финансовые данные и медицинские диагностические приложения как на примеры временных рядов, которые имеют ключевое значение для общества. Превратности этих постоянно меняющихся потоков данных могут быть непредсказуемыми. Тем не менее, анализ этих данных в режиме реального времени и их использование для прогнозирования поведения в будущем может стимулировать развитие новых технологий, таких как автомобили с автономным управлением. Поэтому Хасани построил алгоритм, подходящий для этой задачи.
Хасани разработал нейронную сеть, которая может адаптироваться к изменчивости реальных систем. Нейронные сети — это алгоритмы, распознающие закономерности путем анализа набора «обучающих» примеров. Часто говорят, что они имитируют технологические пути мозга — Хасани черпал вдохновение непосредственно у микроскопической нематоды C. elegans. «В его нервной системе всего 302 нейрона, — говорит он, — но он может генерировать неожиданно сложную динамику».
Хасани закодировал свою нейронную сеть, уделяя особое внимание тому, как нейроны C. elegans активируются и взаимодействуют друг с другом с помощью электрических импульсов. В уравнениях, которые он использовал для структурирования своей нейронной сети, он позволял параметрам изменяться с течением времени на основе результатов вложенного набора дифференциальных уравнений.
Эта гибкость является ключевой. Поведение большинства нейронных сетей фиксируется после фазы обучения, что означает, что они плохо приспосабливаются к изменениям во входящем потоке данных. Хасани говорит, что подвижность его «жидкой» сети делает ее более устойчивой к неожиданным или зашумленным данным, например, если сильный дождь закрывает обзор камеры на беспилотном автомобиле. «Так что он более надежный», — говорит он.
Есть еще одно преимущество гибкости сети, добавляет он: «Она более понятна».
Хасани говорит, что его жидкая сеть обходит непостижимость, обычную для других нейронных сетей. «Просто изменив представление нейрона, — как это сделал Хасани с дифференциальными уравнениями, — вы действительно сможете исследовать некоторые степени сложности, которые иначе не смогли бы исследовать». Благодаря небольшому количеству высокоэкспрессивных нейронов Хасани легче заглянуть в «черный ящик» принятия решений сетью и диагностировать, почему сеть провела определенную характеристику.
«Сама модель более выразительна, — говорит Хасани. Это может помочь инженерам понять и улучшить производительность жидкой сети.
Сеть Хасани преуспела в серии тестов. Он на несколько процентов опередил другие современные алгоритмы временных рядов в точном прогнозировании будущих значений в наборах данных, начиная от химии атмосферы и заканчивая схемами движения. «Во многих приложениях мы видим, что производительность надежно высока», — говорит он. Кроме того, небольшой размер сети означал, что тесты прошли без больших затрат на вычисления. «Все говорят о расширении своей сети», — говорит Хасани. «Мы хотим уменьшить масштаб, чтобы было меньше, но более богатых узлов».
Хасани планирует продолжать улучшать систему и готовить ее к промышленному применению. «У нас есть доказуемо более выразительная нейронная сеть, вдохновленная природой. Но это только начало процесса», — говорит он. «Возникает очевидный вопрос, как это расширить? Мы думаем, что такая сеть может стать ключевым элементом будущих систем разведки».
Это исследование частично финансировалось Boeing, Национальным научным фондом, Австрийским научным фондом и Electronic Components and Systems for European Leadership.