Max Home IndustryКомпания Facebook AI Research (FAIR) объявила, что наняла Владимира Вапника — изобретателя теории машинного и статистического обучения опорных векторов.
Наверное, несправедливо характеризовать Владимира Вапника как теоретика, но, прочитав его книгу «Природа статистической теории обучения», вы, вероятно, подумаете, что он, по крайней мере, придерживается более математической стороны машинного обучения. Вместе с Алексием Червоненкисом он построил теорию обучения, обычно называемую теорией Вапника-Червоненкиса или VC, которая представила идеи, которые лежали в основе изобретения SVM машины опорных векторов.
Чтобы дать вам некоторое представление о теории VC, рассмотрим идею размерности VC классификатора f, которая зависит от набора параметров. Говорят, что классификатор «разрушает» набор точек данных, если для всех назначений классификационных меток параметры могут быть отрегулированы так, чтобы f не допускал ошибок, т.е. он правильно делит пространство на две группы. Размерность VC классификатора — это размер наибольшего набора точек, расположение которых он может разрушить. За пределами измерения VC классификатор всегда можно превзойти с помощью специальной маркировки точек.
Как видите, измерение VC позволяет оценить гибкость классификатора. Например, прямая линия может разбить любые три точки, но не четыре, и, следовательно, ее размер VC равен 3. Чем больше «покачиваний» может иметь граница классификатора, тем выше размер его VC.
Рассмотрение возможности обобщения обучения привело Вапника к применению теории VC к линейным классификаторам и изобрению машины опорных векторов, основная идея которой состоит в том, чтобы найти разделяющую гиперплоскость, разделяющую две группы с «максимальным запасом». Это та плоскость, которая их разделяет и максимально удалена от членов обеих групп. Такая граница принятия решений имеет максимальный размер «нейтральной зоны» вокруг нее и поэтому должна лучше классифицировать новые данные.
Раньше SVM были излюбленным методом для машинного обучения, но в последнее время нейронные сети заняли центральное место. Во многих отношениях текущее состояние машинного обучения можно охарактеризовать как SVM и нейронные сети.
Поэтому может показаться сюрпризом, что Вапник присоединяется к некоторым давним сотрудникам — Джейсону Уэстону, Ронану Коллоберу и Янну ЛеКуну, которые хорошо известны своими работами в области нейронных сетей. Фактически, еще в 1995 году ЛеКун и Вапник поспорили. Вапник думал, что к 2000 году нейросети выйдут из моды и не будут использоваться ни для чего серьезного. Он проиграл пари, но это не означает, что SVM и аналогичные методы, не связанные с нейронной сетью, не принимаются в расчет. Похоже, что версии SVM для «больших данных» будут работать так же хорошо, как и глубокие сети.
Владимир Вапник и Ян Лекун
Чем будет заниматься Вапник на ЯРМАРКЕ?
В объявлении говорится:
«Он работает над новой книгой и будет сотрудничать с учеными-исследователями FAIR (Основы исследований в области искусственного интеллекта), чтобы разработать некоторые из его новых идей по оценке условной плотности, обучению с использованием конфиденциальной информации и другим темам».
Интересно (или это должно вызывать беспокойство), сколько «ведущих» исследователей ИИ сейчас работают на интернет-компании — Google, Facebook, Microsoft, Baidu и другие. Промышленные исследовательские лаборатории — Bell, HP, Xerox Parc и так далее — имеют долгую историю, но почему-то это кажется другим. Возможно, просто цели организации информации с использованием ИИ более опасны, чем цели инженерных исследований прошлого. Или может быть явное отсутствие уверенности в том, что кто-либо из них воспользуется этими методами, чтобы сделать мир лучше.