Max Home IndustryБиблиотека Python, предлагающая обработку естественного языка для TensorFlow 2.0 и PyTorch, была выпущена HuggingFace.
Трансформаторы (ранее известные как pytorch-transformers и pytorch-pretrained-bert) предоставляют современные архитектуры общего назначения (BERT, GPT-2, RoBERTa, XLM, DistilBert и XLNet) для понимания естественного языка (NLU) и генерация естественного языка (NLG).
Facebook разработал ROBERTa, и исследователи описывают свою модель как надежно оптимизированный метод для предварительного обучения систем обработки естественного языка (NLP), который улучшает двунаправленные представления кодировщика от Transformers или BERT, самоконтролируемый метод, выпущенный Google в 2018 году.
BERT и XLNet — это модели, созданные Google. BERT использует предварительное обучение и тонкую настройку для создания задач моделей НЛП, таких как системы ответов, анализ тональности и языковой вывод, и предназначен для предварительного обучения глубоких двунаправленных представлений из немаркированного текста. XLNet — это авторегрессивная языковая модель.
OpenAI создал GPT-2, модель генеративного языка на основе преобразователя, которая была обучена на 40 ГБ тщательно подобранного текста из Интернета.
Сами HuggingFace разработали DistilBERT, который основан на BERT, но использует меньшую языковую модель с примерно половиной общего количества параметров базы BERT, сохраняя при этом 95 процентов производительности BERT в тесте GLUE для понимания языка.
Версия библиотеки PyTorch была установлена более чем 500 000 Pip в этом году. Библиотека также включает уровень абстракции для каждой модели, чтобы упростить интеграцию модели в проект. PyTorch-Transformers уже используется крупными организациями, включая Microsoft и Apple.
Модели, включенные в Transformers, являются лучшими вариантами для различных задач НЛП, а некоторые из них совсем новые. Их включение означает, что любой может использовать многочасовое обучение и большие объемы обучающих данных, которые были предприняты создателями исходной модели с использованием дорогостоящего оборудования GPU, которое было бы недоступно для разработчиков, если они не работают в крупной технологической компании или исследовательская лаборатория. Библиотека делает все это доступным для всех.
Библиотека поставляется с 32 предварительно обученными моделями на более чем 100 языках, и разработчики заявляют, что она обеспечивает глубокую совместимость между TensorFlow 2.0 и PyTorch.