Max Home IndustryПоследние достижения в области глубоких нейронных сетей очень обнадеживают исследователей ИИ, но есть одна загвоздка. Обучение необходимого количества нейронов стоит больших денег, но теперь у команды Google AI есть способ вернуть вас в игру — всего за 20 000 долларов.
Глубокие нейронные сети (DNN) в настоящее время являются большой надеждой ИИ, но если вы хотите пойти по стопам Google и обучить сеть, способную извлекать из видео естественные особенности, такие как лица и кошки, вам понадобятся глубокие карманы, а также сети.
DNN очень легко внедрить, но очень дорого обучить. Для сети Google Face требовалось 1000 компьютеров, а ее стоимость составляла порядка 1 миллиона долларов. Это своего рода препятствие как для исследований, так и для промышленности. Например, если вы планируете выпустить альтернативу отслеживанию скелета Kinect, вам нужно подумать с точки зрения серьезного обучения.
Теперь вы можете стремиться присоединиться к революции DNN, не вкладывая средства в суперкомпьютер — хотя машина, которая вам нужна, по-прежнему довольно особенная. В документе, опубликованном исследовательской группой из Стэнфорда, в которую входил Эндрю Нг, который руководил работой Google DNN, описывается конфигурация готовых компонентов, которые могут обрабатывать сети с 1 миллиардом параметров всего с тремя машинами, а обучение завершается за пару. дней. Он также может масштабироваться до чего-то, что может обрабатывать 11 миллиардов соединений за 100 000 долларов с использованием 16 машин.
Вы, наверное, догадались, что секрет этого нового оборудования заключается в использовании графических процессоров:
«В этом документе мы представляем технические детали и результаты нашей собственной системы, основанной на технологии Commodity Off-The-Shelf High Performance Computing (COTS HPC): кластер серверов с графическим процессором с межсоединениями Infinband и MPI».
Большой кластер из 16 машин описывается как:
«Наш кластер состоит из 16 серверов, каждый с 2 четырехъядерными процессорами. Каждый сервер содержит 4 графических процессора NVIDIA GTX680 и адаптер FDR Infinband. Каждый графический процессор имеет 4 ГБ памяти и способен выполнять около 1 терафлопс (одинарной точности) с хорошо оптимизированным кодом. Адаптер Infinband подключается к другим серверам через переключатель In finband и имеет максимальную пропускную способность 56 Гбит / с и очень низкую сквозную задержку (обычно микросекунды для небольших сообщений) ».
Графические процессоры кодируются с использованием CUDA — что еще?
DNN, реализуемая системой, построена на стандартных макроуровнях. Каждый макрослой имеет три подслоя нейронов — линейная фильтрация, опрос и локальная нормализация контраста. Каждый макроуровень повторяется 3 раза, чтобы получить сеть из 9 уровней. Структура сетей и реализация алгоритма обучения изменены, чтобы сделать вычисления с использованием архитектуры GPU более эффективными.
Система тестировалась путем воспроизведения эксперимента Google с видео; 10 миллионов эскизов YouTube с разрешением 200×200 были переданы в сеть, которая, помимо прочего, научилась распознавать лица и кошек. Сеть с 1,8 миллиардами параметров проработала хорошо. Перейдя к более крупным вещам, исследователи затем обучили сеть с 11 миллиардами параметров, но это оказалось немного хуже, чем у меньшей сети.
Это хорошо известный эффект в DNN, и он указывает на то, что, возможно, сеть слишком приспособлена к данным — решение — больше данных или лучшие алгоритмы обучения.
Паттерны, которые вы извлекаете из сети после обучения, — своего рода указание на то, что они считают репрезентативными изученными функциями.
Но теперь у нас есть оборудование, позволяющее экспериментировать:
«С помощью нашей системы мы показали, что можем комфортно обучать сети с более чем 11 миллиардами параметров, которые более чем в 6,5 раз больше, чем указано в (Dean et al., 2012) (самая большая предыдущая сеть), и используя менее 2% столько же машин «.
Во многих отношениях такая работа намного важнее, чем акцент на квантовом компьютере и других типах «суперкомпьютеров». Нам нужны машины, лучше оптимизированные для обучения DNN.