Max Home IndustryFacebook AI Research объявил, что открывает исходный код для модулей глубокого обучения, которые позволяют обучать нейронные сети большего размера за меньшее время, чем те, которые уже доступны.
С тех пор как в 2013 году Янн ЛеКун возглавил недавно созданную группу AI, FAIR в Facebook, она превратилась в команду из 36 человек и добилась больших успехов.
К счастью для области глубокого обучения и сверточных сетей, они считают, что:
Прогресс в науке и технологиях ускоряется, когда ученые делятся не только своими результатами, но также своими инструментами и методами.
Поэтому он решил сделать именно это с помощью набора инструментов, которые дают 23,5-кратное ускорение по сравнению с общедоступными кодами сверточного слоя и возможностью распараллеливать обучение нейронных сетей с помощью карт графического процессора.
Инструменты становятся доступными для Torch. среда разработки с открытым исходным кодом для вычислений, машинного обучения и компьютерного зрения, широко используемая в ряде академических лабораторий, а также в Google / DeepMind, Twitter, NVIDIA, AMD, Intel и многих других компаниях.
Следующие быстрые модули nn для Convnets и нейронных сетей в целом представляют собой подключаемый модуль к фреймворку Torch-7:
Модули быстрой пространственной свертки, которые используют БПФ для ускорения свертки. В этой ловкой статье конференции есть подробности.
Быстрые временные свертки, которые в 1,5-10 раз быстрее по сравнению с реализациями cunn в Torch.
Контейнеры nn.DataParallel и nn.ModelParallel. Подключите к ним свою модель и посмотрите, как она ускоряется на нескольких графических процессорах,
Оболочки для использования БПФ / ОБПФ в качестве модулей nn.
Fast LookupTable, который используется для моделей нейронного языка и встраивания слов. Намного быстрее, чем в torch / nn
Иерархический модуль SoftMax, теперь классификация 1 миллиона классов — практически жизнеспособная стратегия
LP и Max Pooling по картам функций (можно использовать для MaxOut).
Чтобы использовать эти пакеты для Torch, посетите страницу fbcunn, на которой есть инструкции по установке, документация и примеры для обучения классификаторов через ImageNet.
Facebook также недавно выпустил iTorch, интерфейс для Torch, использующий iPython с визуализацией и построением графиков, и ранее сделал доступными fbnn, расширения для torch / nn, fbcuda, расширения для CUDA и библиотеки и утилиты fblualib для Lua.
Завершая объявление в блоге FAIR, Сумит Чинтала отмечает:
Мы надеемся, что эти высококачественные выпуски кода станут катализатором для исследовательского сообщества, и мы будем продолжать обновлять их время от времени.