У Google есть сеть, больше похожая на мозг

Наши нынешние нейронные сети творят чудеса, но они очень далеки от имитации биологического мозга, на котором они основаны. Теперь у Google Research есть некоторые прорывные результаты с более биологически правдоподобной искусственной нейронной сетью — проектом Ихмехиммели.

Если у вас сложилось впечатление, что нейронные сети, которые мы сейчас используем, похожи на биологические сети, подумайте еще раз. Лучшее, что можно сказать, это то, что они вдохновлены биологией.
Нейрон возбуждается сигналами, которые он получает от других нейронов, и в конце концов он «срабатывает», передавая сигнал дальше. Наши нынешние искусственные нейронные сети просто суммируют входные данные и выдают пропорциональный сигнал активации. Сеть с импульсами обычно копирует поведение реальных нейронов более точно: когда искусственные нейроны получают импульсы или «пики» от другой сети, которые обеспечивают достаточный стимул, они запускают пики на подключенные к ней нейроны.
Реализации нейронных сетей с пиками различаются тем, как они генерируют и интерпретируют активность, однако время имеет существенное значение. Долгое время предполагалось, что время импульсов от нейронов важно, но это было трудно доказать. В этом случае сеть использует нейроны, которые выводят пики раньше для более сильных входных сигналов, и на выходе принимается тот нейрон, который дает пики первым. Обратите внимание, что это не то же самое, что делать самые смоделированные нейроны важными.
Модель также использовала весовые константы, чтобы определить, насколько быстро нейрон будет вспыхивать. Передаточная функция нейрона моделирует потенциал клеточной мембраны, который медленно повышается по мере получения входных импульсов. Когда потенциал становится достаточно высоким, нейрон срабатывает. Веса контролируют, насколько быстро нарастает потенциал и, следовательно, как скоро срабатывает нейрон.
Эта формулировка позволяет найти производную, и в современном искусственном интеллекте все, что имеет производную, может быть оптимизировано, и это алгоритм обучения для нейронной сети с пиками. Это почти идентично стандартному обратному распространению, но теперь оптимизация изменяется, когда нейроны срабатывают, чтобы конкретный выходной нейрон срабатывал первым.
Так это работает?
Кажется, что он достиг 98% на стандартном наборе данных MNIST — так же хорошо, как и в традиционной нейронной сети. Утверждается, что небольшая потеря точности приемлема, поскольку сеть может быть реализована более энергоэффективным способом.
Команда также комментирует странное поведение сети во время обучения. Кажется, что происходит фазовый переход. Сначала он принимает медленный, но точный режим, а затем, после дополнительной тренировки, он переходит на быстрый, но не такой точный. Это явление, характерное для временного кодирования этого конкретного типа нейронной сети, и, по-видимому, заслуживает дальнейшего изучения.
Также утверждается, что сеть изучает более понятные функции, которые больше похожи на те, которые узнал бы человек. Чтобы продемонстрировать это, входное изображение было настроено так, чтобы стимулировать «правильный» выходной нейрон:

Возможностей для дальнейшей работы предостаточно:
Эта работа является одним из примеров начального шага, который проект Ihmehimmeli предпринимает в исследовании потенциала основанных на времени вычислений, вдохновленных биологией. В других продолжающихся экспериментах мы обучаем сети пиковых значений с временным кодированием, чтобы контролировать ходьбу искусственного насекомого в виртуальной среде, или черпая вдохновение из разработки нейронной системы, чтобы обучать двумерную сетку пиковых значений для предсказания слов с использованием роста аксонов. . Наша цель — расширить наше знакомство с механизмами, которые природа разработала для естественного интеллекта, что позволяет исследовать основанные на времени искусственные нейронные сети с различными внутренними состояниями и переходами между состояниями.
Последняя загадка, почему проект называется Ихмехиммели:
«Ихмехиммели» — финское насмешливое слово, обозначающее сложный инструмент или элемент станка, назначение которого не сразу уловить. Суть этого слова отражает нашу цель построить сложные архитектуры рекуррентных нейронных сетей с временным кодированием информации.

Команда Google Research, Цюрих, держит химмели.
Вы можете рассматривать этот успех нейронной сети этого типа с ее использованием временного кодирования как указание на то, что, возможно, именно так функционируют биологические сети. Сети, которые ближе к биологии, кажутся обладающими преимуществами и уникальными свойствами. Однако вы также можете принять это как еще одну демонстрацию центральной догмы современного искусственного интеллекта — если вы можете дифференцировать его, вы можете заставить его учиться.