Max Home IndustryЧтобы способствовать исследованиям того, как машинное обучение может применяться к проблемам естественного языка, Google Knowledge публикует набор инструментов с открытым исходным кодом под названием Word2Vec, который направлен на изучение значения слов.
Google делает большие успехи в исследованиях нейронных сетей, и, применив глубокое обучение к поиску фотографий и распознаванию речи, команда Google Knowledge обратила свое внимание на естественный язык.
В сообщении блога, озаглавленном «Изучение смысла слов», Томас Миколов, Илья Суцкевер и Куок Ле представляют Word2vec, набор инструментов, который был доступен в виде открытого источника, который может изучать концепции, читая множество новостных статей и не требуя человеческого надзора.
В блоге объясняется, что Word2vec использует распределенные представления текста для выявления сходства между концепциями, и предоставляет этот пример, демонстрирующий его успех в изучении концепции столичных городов.
(нажмите, чтобы увеличить)
Эта диаграмма демонстрирует, что Word2vec понимает, что Париж и Франция связаны так же, как Берлин и Германия (столица и страна), а не так, как Мадрид и Италия. Как объясняют исследователи:
Модель не только размещает похожие страны рядом друг с другом, но и размещает их столицы параллельно. Самое интересное, что мы не предоставили никакой контролируемой информации до или во время обучения. Во время тренировок автоматически возникает множество подобных паттернов.
Они предполагают, что существует широкий спектр потенциальных приложений для этого типа инструмента представления текста, включая представление и извлечение знаний; машинный перевод; ответы на вопросы; диалоговые системы, и по этой причине они открывают исходный код кода, чтобы исследователи в области машинного обучения, искусственного интеллекта и естественного языка могли создавать реальные приложения.
Более подробная информация о методологии, заключенной в Word2vec, доступна в недавней статье «Эффективная оценка представлений слов в векторном пространстве» гуглеров Томаса Миколова, Кая Чена, Грега Коррадо и Джеффа Дина, в которой они описывают недавний прогресс, достигнутый в применении нейронных технологий. сети к пониманию человеческого языка.
Согласно сообщению об исследованиях в Google:
Представляя слова в виде векторов большой размерности, они разрабатывают и обучают модели для изучения значения слов неконтролируемым образом из больших текстовых корпусов. При этом они обнаруживают, что похожие слова располагаются рядом друг с другом в этом многомерном векторном пространстве, что позволяет получать интересные результаты в результате математических операций над представлениями слов. Например, этот метод позволяет решать простые аналогии, выполняя арифметические действия над векторами слов и исследуя ближайшие слова в векторном пространстве.
В исследовательской работе содержится удивительная статистика, согласно которой с использованием новых архитектур, которые они описывают, требуется меньше дня, чтобы выучить высококачественные словесные векторы из набора данных из 1,6 миллиарда слов.