Max Home IndustryНикто не может сказать, будут ли андроиды мечтать об электрических овцах, но они почти наверняка будут нуждаться в периодах отдыха, которые дают преимущества, аналогичные тем, которые сон дает живому мозгу, согласно новому исследованию Лос-Аламосской национальной лаборатории.
«Мы изучаем нейронные сети с пиковыми сигналами, то есть системы, которые обучаются так же, как и живой мозг», — сказал компьютерный ученый Лос-Аламосской национальной лаборатории Ицзин Уоткинс. «Мы были очарованы перспективой обучения нейроморфного процессора способом, аналогичным тому, как люди и другие биологические системы учатся у окружающей среды во время развития в детстве».
Уоткинс и ее исследовательская группа обнаружили, что сетевое моделирование стало нестабильным после продолжительных периодов обучения без учителя. Когда они подвергли сети воздействию состояний, аналогичных волнам, которые испытывает живой мозг во время сна, стабильность была восстановлена. «Это было так, как если бы мы обеспечивали нейронные сети эквивалентом хорошего ночного отдыха», — сказал Уоткинс.
Это открытие произошло в то время, когда исследовательская группа работала над созданием нейронных сетей, которые точно соответствуют тому, как люди и другие биологические системы учатся видеть. Первоначально группа пыталась стабилизировать моделируемые нейронные сети, проходя обучение по словарю без учителя, которое включает в себя классификацию объектов без предварительных примеров для их сравнения.
«Проблема того, как удержать обучающие системы от нестабильности, на самом деле возникает только при попытке использовать биологически реалистичные нейроморфные процессоры или при попытке понять саму биологию», — сказал ученый-компьютерщик из Лос-Аламоса и соавтор исследования Гарретт Кеньон. «Подавляющее большинство исследователей машинного обучения, глубокого обучения и искусственного интеллекта никогда не сталкиваются с этой проблемой, потому что в тех самых искусственных системах, которые они изучают, они могут позволить себе роскошь выполнять глобальные математические операции, которые регулируют общий динамический выигрыш системы».
Исследователи характеризуют решение подвергнуть сети искусственному аналогу сна как почти последнюю попытку их стабилизировать. Они экспериментировали с различными типами шума, примерно сопоставимыми со статическими помехами, которые могут возникнуть между станциями при настройке радио. Наилучшие результаты были получены при использовании волн так называемого гауссова шума, который включает широкий диапазон частот и амплитуд. Они предполагают, что шум имитирует вход, полученный биологическими нейронами во время медленноволнового сна. Результаты показывают, что медленный сон может частично обеспечивать стабильность корковых нейронов и отсутствие галлюцинаций.
Следующая цель группы — реализовать свой алгоритм на нейроморфном чипе Intel Loihi. Они надеются, что время от времени позволяя Лоихи спать, он сможет стабильно обрабатывать информацию с кремниевой камеры сетчатки глаза в реальном времени. Если результаты подтвердят необходимость сна в искусственном мозге, мы, вероятно, можем ожидать, что то же самое будет верно в отношении андроидов и других интеллектуальных машин, которые могут появиться в будущем.
Уоткинс представит исследование на семинаре «Женщины в компьютерном зрении» 14 июня в Сиэтле.