Max Home IndustryГонка за построением лучшей нейронной сети, похоже, дошла до тактики, незнакомой академическому миру. Китайская поисковая система Baidu создала команду мирового класса, которая обеспечивает первоклассные результаты, но теперь ее поймали на мошенничестве.
ImageNet — эталонный стандарт для тестирования сверточных нейронных сетей и других методов распознавания изображений. Это был успех ImageNet Large Scale Visual Recognition Challenge (ILSVRC), который привлек всеобщее внимание к подходу Джеффа Хинтона к сверточным нейронным сетям, а недавно Google GoogLeNet показал себя даже лучше. Конкуренция за создание лучшей нейронной сети была интенсивной, и в последнем прорыве команда Baidu заявила, что добилась еще большего успеха с коэффициентом ошибок всего 4,58%, опередив Microsoft и Google на 4,9% и 4,8% — у людей коэффициент ошибок составляет около 5. %.
Baidu многое сделал из этого небольшого улучшения. Например, он разместил в своем технологическом блоге статью под заголовком «Baidu достигает лучших результатов в конкурсе по распознаванию изображений».
Baidu серьезно относится к искусственному интеллекту и нанял эксперта Google по искусственному интеллекту Эндрю Нг, чтобы возглавить проект, а затем построил очень большой суперкомпьютер под названием Minwa. Это машина, которая управляла огромной нейронной сетью с данными ImageNet и дала результат, который дал Baidu корону лучшей нейронной сети на планете.
Однако организаторы конкурса ImageNet Large Scale Visual Recognition Challenge (ILSVRC) заметили, что:
В период с 28 ноября 2014 года по 13 мая 2015 года команда из Baidu на тестовый сервер использовала не менее 30 учетных записей не менее 200 раз, что намного превышает установленный лимит в две отправки в неделю.
Это намного больше, чем разрешенные две заявки в неделю.
Отчет продолжается:
Чтобы прояснить это, используя возможность тестирования множества немного разных решений на тестовом сервере, можно
1) выбрать лучшее из набора очень похожих решений на основе результатов тестирования и добиться небольшого, но потенциально значительного преимущества и
2) выбирать методы для дальнейших исследований и разработок, основанные непосредственно на тестовых данных, вместо того, чтобы использовать только данные обучения и проверки для такого выбора.
Команду Baidu попросили не отправлять данные на тестовый сервер в течение следующих 12 месяцев. В ответ компания заявила, что это была «ошибка».
Что нам с этим делать?
Возможно, дополнительное взаимодействие с тестовыми данными не использовалось, но ограничение на скорость отправки было наложено, чтобы минимизировать эту возможность. Создав 30 учетных записей для увеличения скорости отправки, становится ясно, что это не случайно.