Max Home IndustryПроект IBM TrueNorth достиг новой стадии — достаточно нейронов, чтобы их можно было сравнить с мозгом крысы. Это будущее искусственного интеллекта?
Очевидный ответ — «да», но проект TrueNorth — более тонкое предложение, чем вы думаете. Все большие открытия в области нейронных сетей, о которых вы читали, основаны на простой модели искусственного нейрона. Входы в нейрон являются непрерывными, и они суммируют входные данные с использованием набора весов, которые представляют то, что он изучил, и выводят простую функцию этих входов.
Чип TrueNorth от IBM не совсем такой — это нейронная сеть с пиками, активация которой пропорциональна скорости импульсов, которые нейрон генерирует и принимает. Утверждается, что такая сеть ближе к способу работы биологического нейрона, но о ее свойствах известно гораздо меньше, и с ней гораздо труднее работать.
Фактически, его использование является чем-то вроде указания на то, что, возможно, работа слишком близка к биологии и обращается к магии, а не к науке. В данном случае, однако, несмотря на ажиотаж и использование биологических терминов, таких как белое и серое вещество, кажется, что происходит что-то стоящее.
Чип TrueNorth имеет 64×64 ядра, состоящие из 256 «нейронов», соединенных двоичной решеткой. Выход любого нейрона можно соединить со входом любого другого, и это аналог короткодействующих связей в коре головного мозга. Соединения на большие расстояния устанавливаются между микросхемами на основе точки за точкой, а не массива перекладин.
Программируемость обусловлена возможностью контролировать, какой нейрон связан с каким нейроном, с помощью бинарной перекрестной панели. Активность синхронна с временным шагом 1 мс, и нейрон либо срабатывает, либо нет на каждом временном шаге. Начальное состояние нейрона и его порог можно запрограммировать. Активация нейрона со временем затухает, и есть генератор случайных чисел, который может внести некоторую случайность. Выходные пики сохраняются в буфере и подвергаются программируемой задержке для моделирования времени распространения в реальной нейронной сети.
Соединения между жилами на большие расстояния выполняются с помощью системы маршрутизации. Когда нейрон в ядре вспыхивает, он ищет адрес, который затем используется для маршрутизации сигнала в ядро назначения, где он, наконец, достигает намеченного целевого нейрона через перекладину.
Таким образом, каждый чип TrueNorth имеет 1 миллион нейронов и 256 миллионов синапсов.
Настоящий вопрос в том, как заставить это работать?
Чтобы помочь ответить на этот вопрос, 48 чипов TrueNorth были собраны в более крупный «мозг», состоящий из 48 миллионов нейронов — примерно столько, сколько можно найти в мозгу грызуна — для недавнего учебного лагеря, предназначенного для того, чтобы люди использовали новый подход.
Большая проблема заключается в том, что алгоритмы обучения, используемые в «глубоком обучении», не применимы напрямую к сети с пиками, потому что они включают использование градиента выходного сигнала нейрона в зависимости от его входных весов. В случае пиковой сети трудно увидеть, какому градиенту соответствует градиент, и в этом конкретном случае нет весов, только двоичные соединения и порог. Однако, судя по отчетам буткемпа, прогресс налицо. Существуют алгоритмы обучения для пиков нейронных сетей, основанные на времени пиков — например, зависимая от пиков пластичность — но неясно, подходит ли архитектура TrueNorth для этих подходов.
Одна учетная запись, которая у нас есть из учебного лагеря, описывает, как сеть использовалась для языковой обработки:
Первая задача — это анализ настроений на TrueNorth, то есть предсказание «счастья», связанного с данными словами. Наша система, названная «TrueHappiness», использует полностью подключенную нейронную сеть с прямой связью, которая обучается с использованием обратного распространения ошибки и преобразуется в совместимую с TrueNorth сеть после завершения обучения.
Вторая задача — это классификация вопросов, где мы определяем, какой ответ пользователь ищет в заданном вопросе. Как и в случае с TrueHappiness, мы начинаем с использования методов глубокого обучения, то есть обучаем рекуррентную нейронную сеть с помощью обратного распространения ошибок и затем конвертируем ее в нейронную сеть с пиками, подходящую для TrueNorth.
В обоих случаях проблемы обучения сети удалось избежать путем обучения «традиционной» нейронной сети и последующей передачи изученных весов в сеть TrueNorth.
Это и хорошие новости, и плохие новости.
В его нынешнем виде TrueNorth явно способен реализовать то, что было извлечено из глубокой нейронной сети, и он может делать это быстро и с низким энергопотреблением. Чего он не может делать, так это учиться на работе. После того, как TrueNorth настроен, он просто реализует изученную модель и не имеет собственной пластичности.
Ясно, что это шаг в правильном направлении, но пока еще недостаточно.
IBM построила крысиный мозг, которому, кажется, суждено повторять свои ошибки, а не учиться на собственном опыте.