Max Home IndustryДжеффри Хинтон широко известен как отец нынешнего бума искусственного интеллекта. Десятилетия назад он придерживался идеи, что обратное распространение и нейронные сети — это то, что нужно, когда все остальные сдались. Теперь, в неформальном интервью, он показывает, что опоры для спины может быть недостаточно и что ИИ должен начинать все сначала.
В интервью Axios Hinton приписывают заявление о том, что он
«очень подозрительно» в отношении обратного распространения »
и
«Моя точка зрения — выбросить все и начать заново»,
Беспокоит то, что нейронные сети не обучаются так, как мы:
«Я не думаю, что так работает мозг. Нам явно не нужны все размеченные данные».
Это может показаться удивительным со стороны пионера в области технологий нейронных сетей, но, несомненно, в этой оговорке есть доля правды.
Во-первых, кажется неправильным сосредотачиваться на обучении без учителя как на проблеме. Идея о том, что мозг каким-то образом просто упорядочивает мир без необходимости в учителе, верна лишь отчасти. Распространенный и очень успешный метод обучения нейронных сетей заключается в предоставлении больших наборов помеченных данных и обучении сети воспроизведению ярлыков. При представлении большого количества изображений категорий животных, скажем, нейронная сеть настраивается с использованием обратного распространения, чтобы постепенно получить правильную классификацию.
То, что нейронная сеть может изучать классификацию, неудивительно — при наличии достаточного количества степеней свободы и хорошего алгоритма оптимизации, который, по-видимому, является обратной опорой, вы можете подогнать данные. Что действительно примечательно, так это то, что нейронные сети, обученные с использованием обратной опоры, могут обобщать. Они могут правильно распознавать изображения, которых никогда не видели. Они также, кажется, образуют правдоподобную иерархию характеристик, которые делают возможным распознавание. Короче говоря, тщательно обученная нейронная сеть, похоже, действительно извлекает структуру набора данных.
Так работает мозг?
Это хороший повод сказать «кому какое дело!». Если вы рассматриваете ИИ как инженерный проект, то на самом деле мы не пытаемся создать мозг, который работает так же, как мозг. Мы пытаемся построить устройство, которое выполняет ту же работу любыми способами. В этом смысле нейронная сеть, которая распознает кошку, выполняет свою работу хорошо, даже если она не делает это так же, как человеческий мозг.
Однако это правда, что люди, похоже, не учатся на помеченных примерах. Один из способов, которым мы учимся, — это использовать награды, чтобы направлять наши действия. Это обучение с подкреплением, которое также можно использовать с нейронными сетями. Компания Google Deep Mind добилась большого успеха в создании сетей, которые могут играть в аркадные игры и даже побеждать чемпиона мира по игре в го. Alpha Go не изучала сложную и тонкую игру в го, получая обозначенные примеры ходов. Вместо этого он учился, просто выигрывая или проигрывая. Он учился, играя. Это обучение без учителя и явно не проблема для нейронных сетей, и все же это одна из причин, по которой предлагается отказаться от обратной опоры, даже если обратная опора играет центральную роль в нынешнем успехе глубокого обучения с подкреплением.
Однако не все хорошо с опорой на спину и нашими нынешними методами обучения.
Ясно, что мы, люди, на каком-то уровне являемся машинами для обучения с подкреплением, и тем не менее есть множество примеров того, как мы учимся делать вещи, которые, похоже, не связаны с обучением с подкреплением. Решив математическую задачу, вы применяете правила, а не обучение с подкреплением. Исследователи искусственного интеллекта долгое время рассматривали символические системы рассуждений как способы имитации такого рода человеческого интеллекта. Возможно, в настоящее время это не так модно, как глубокое обучение, но это все еще действенный подход к проблеме реализации многих продвинутых систем, а нейронные сети, похоже, не очень склонны к символическим рассуждениям.
Вся проблема в том, что нейронные сети медленно обучаются. Задняя опора, используемая с помеченными данными или подкреплением, кажется, не обучается так быстро, как мы. Глубокая нейронная сеть не имеет такого «ага!» момент, когда вы видите решение проблемы. Вместо этого он движется, как ледник вниз по склону, в поисках лучшего решения.
Есть также небольшая проблема, что задняя опора не кажется биологически приемлемой. То есть наши нейронные сети просто не обновляют сложные параметры с использованием точных математических расчетов. Однако это не такая уж большая проблема, потому что у нас есть много предложений о том, что задняя опора не должна быть реализована точно. Нейронные сети с арифметикой низкой точности, похоже, работают, и даже точный характер коррекции обратной связи не кажется жизненно важным — в принципе. Да, правильное обучение сети имеет значение, когда дело доходит до повышения производительности программы распознавания с 99% до 99,1%, но даже если вы ошиблись, система все равно учится.
Это AI-аналог идеи универсальных вычислений, который предполагает, что полнота по Тьюрингу на удивление легко достижима и что она есть в большинстве даже немного сложных систем. Эквивалент искусственного интеллекта состоит в том, что если у вас есть что-то с достаточным количеством степеней свободы, которое можно оптимизировать, и применять эту оптимизацию к системе достаточно долго, она научится.
В этом смысле обратная опора — это, вероятно, просто наш изощренный подход к обеспечению корректирующей обратной связи для системы. Это хорошая идея, потому что без нее наши вычислительные системы слишком ограничены, чтобы предоставлять результаты в разумные сроки. То же самое и с искусственной эволюцией, применяемой к нейронным сетям — она работает, но слишком медленно.
Более вероятно, что в нейронной сети есть не система, а ее компонент.
Нейронная сеть — это не человеческий мозг, а транзистор — это компьютер. Оба они являются компонентами, которые можно использовать для построения более сложных и структурированных систем.
Что это за структура и какие именно компоненты необходимы, скорее всего, представляет собой настоящую проблему. С теоретической точки зрения не имеет значения, собираете ли вы компьютер из электронных ламп или транзисторов. Точно так же не имеет значения, используют ли наши обучающие компоненты обратное распространение или что-то еще. Они все еще являются компонентами на пути к полной системе.