Max Home IndustryGoogle делает несколько замечательных вещей с AI, но скорость разработки будет расти, потому что у него есть Tensor Processing Unit, TPU.
TPU представляет собой специализированную интегральную схему ASIC — специализированную интегральную схему.
Это мало что говорит вам о том, что именно представляет собой аппаратное обеспечение, потому что ASIC охватывает ряд технологий, от недорогих и простых программируемых вентильных матриц до полностью настраиваемых интегральных схем, которые сложны и стоят дорого. Все, что мы знаем, это то, что от первых тестовых образцов до доставки устройства в дата-центры прошло всего 22 дня. Хотя заметьте, что проект был:
«Скрытый проект в Google несколько лет назад, цель которого — увидеть, чего мы можем достичь с помощью наших собственных ускорителей для приложений машинного обучения».
Приложение, для которого предназначены TPU, — это TensorFlow и, в частности, нейронные сети. Одним из самых узких мест здесь является огромная вычислительная мощность, необходимая для обучения и даже использования таких больших глубоких нейронных сетей. Теперь у Google есть короткий путь. Он утверждает, что использование TPU на порядок лучше оптимизировано для производительности на ватт, чем другие подходы. Это расплывчато, но также утверждается, что технология переместила технологию примерно на семь лет в будущее — или на три поколения закона Мура.
Процитируем блог Cloud Platform:
TPU адаптирован для приложений машинного обучения, что позволяет чипу быть более устойчивым к снижению точности вычислений, что означает, что для каждой операции требуется меньше транзисторов. Благодаря этому мы можем втиснуть в кремний больше операций в секунду, использовать более сложные и мощные модели машинного обучения и быстрее применять эти модели, чтобы пользователи быстрее получали более интеллектуальные результаты.
Ссылка на пониженную точность напоминает хорошо документированное поведение нейронных сетей, которые, похоже, работают так же хорошо с восьмибитной и более низкой арифметической точностью. Кажется, что для нейронных сетей ансамбль нейронов не имеет значения для точности какого-либо конкретного нейрона. Предположительно, TPU выполняет множество векторных арифметических операций с низкой точностью, чтобы ускорить работу.
TPU — это тоже очень изящная аппаратная часть. Плата с TPU вставляется в слот для жесткого диска в стойках нашего дата-центра:
Это вся имеющаяся у нас информация о TPU, но есть и другие интересные открытия в недавнем сообщении в блоге:
«Машинное обучение обеспечивает основу для многих самых популярных приложений Google. На самом деле, более 100 команд в настоящее время в Google используют машинное обучение, от просмотра улиц до интеллектуального ответа на входящие сообщения и голосового поиска».
Обратите внимание на «более 100 команд».
И:
«TPU уже используются во многих приложениях Google, включая RankBrain, которые используются для повышения релевантности результатов поиска и просмотра улиц, для повышения точности и качества наших карт и навигации. AlphaGo использовала TPU в матчах с чемпионом мира по го Ли Седол, позволяющий ему «думать» намного быстрее и смотреть дальше между ходами ».
Таким образом, Google или Deep Mind выиграли благодаря использованию TPU. Google также утверждает, что стойки TPU в ее центрах обработки данных могут стать доступными для использования кем угодно:
Стойка из ТПУ — кто-нибудь знает, о чем надпись на конце?
Странно то, что как только закон Мура истекает, а оборудование действительно не становится более мощным из года в год, новая парадигма искусственного интеллекта, глубокая нейронная сеть, вступает в силу, чтобы создавать новые архитектуры, которые поддерживают скорость прогресса. .
У Google есть TPU — это еще одна ступенька в гонке вооружений искусственного интеллекта. Интересно, что есть у других, о чем они не говорят?