Max Home IndustryFacebook выложил в открытый доступ новую модель обработки естественного языка под названием RoBERTA. Модель представляет собой оптимизированную версию модели BERT от Google.
Исследователи Facebook описывают свою модель как надежный оптимизированный метод предварительного обучения систем обработки естественного языка (NLP), который улучшает Bidirectional Encoder Representations from Transformers, или BERT, метод самоконтроля, выпущенный Google в 2018 году.
BERT стал известен благодаря впечатляющим результатам, достигнутым этой технологией в ряде задач NLP на основе неаннотированного текста, взятого из Интернета. Большинство аналогичных систем NLP основаны на тексте, который был помечен специально для данной задачи.
Новый оптимизированный метод Facebook, RoBERTa, показывает самые современные результаты в широко используемом эталоне NLP, General Language Understanding Evaluation (GLUE).
RoBERTa был реализован в PyTorch, и команда изменила ключевые гиперпараметры в BERT, включая удаление цели предварительного обучения следующего предложения в BERT. RoBERTa также обучалась с гораздо большими мини-пакетами и скоростью обучения. По словам разработчиков, это позволило RoBERTa улучшить задачу моделирования языка в маске по сравнению с BERT и привело к улучшению результатов выполнения последующих задач.
После внесения этих изменений в конструкцию модель Facebook показала значительно лучшую производительность на задачах MNLI, QNLI, RTE, STS-B и RACE и значительное улучшение производительности на эталоне GLUE. Набрав 88,5 баллов, RoBERTa заняла первое место в таблице лидеров GLUE, сравнявшись по производительности с предыдущим лидером, XLNet-Large. Команда говорит, что эти результаты подчеркивают важность ранее не изученных вариантов дизайна при обучении BERT и помогают разделить относительный вклад объема данных, времени обучения и целей предварительного обучения.
Полное описание RoBERTA и проведенных исследований содержится в статье, опубликованной на сайте arXiv.