Max Home IndustryГо долгое время был сложной игрой для ИИ. Это была игра, в которой люди цеплялись за превосходство — до сих пор. Система на основе нейронных сетей наконец-то победила действительно хорошего игрока.
Новая система достигла 99,8% выигрыша в сравнении с другими программами Го и победила (человеческого) чемпиона Европы по Го со счетом пять игр с нулевым результатом. Конечно, это не делает его лучшим игроком в го в мире, но вы можете сказать, что только что произошло нечто грандиозное. Компьютеры теперь могут победить нас в Go!
Архитектура сети под названием AlphaGo, разработанная командой Google Deep Mind, нова тем, что в ней используются две отдельные нейронные сети в традиционной схеме обучения с подкреплением «актер-критик». Первая сеть выбирает возможные ходы, а вторая оценивает их с точки зрения того, какое преимущество этот ход даст в будущем. Такой подход позволил AlphaGo извлечь уроки из 30 миллионов человеческих игр в го, а затем продолжить улучшать его производительность, играя миллионы игр против самого себя.
Вы можете увидеть, как работает игра и AlphaGo, в следующем видео:
Это более «человечный» подход к играм. Стандартный подход ИИ к играм основан на глубоком поиске для оценки позиций. По сути, шахматные программы выигрывают, потому что у них есть вычислительная мощность, чтобы вести игру в будущее и оценивать следующий ход с точки зрения того, что произойдет впоследствии. AlphaGo больше использует интеллектуальный выбор ходов, которые затем оценивает. Похоже, это то, что нужно для того, чтобы машина могла выиграть в Go.
Одно можно сказать наверняка, так это то, что хорошо известный и ранее «точный» мультфильм xkcd необходимо будет обновить:
Больше мультяшных забав на xkcd, веб-комиксе о романтике, сарказме, математике и языке
Есть планы оценить AlphaGo, играя против лучших игроков мира, так что следите за новыми новостями в ближайшее время.
Что интересно, Google Deep Mind, похоже, нашел способ объединить идеи обучения с подкреплением и нейронных сетей.
Изображение предоставлено: Goban1