Max Home Industry• Исследователи Microsoft достигли вехи в распознавании речи
• Кража моделей машинного обучения через API прогнозирования.
• Улучшение начальной классификации и классификации изображений в TensorFlow
Иногда новости достаточно хорошо сообщаются в других местах, и нам нечего добавить, кроме как обратить на это ваше внимание.
Без комментариев — это формат, в котором мы представляем исходную исходную информацию, слегка отредактированную, чтобы вы могли решить, хотите ли вы следить за ней.
Исследователи Microsoft достигли важной вехи в распознавании речи
Сюэдун Хуанг, главный специалист по речи компании, сообщает, что в недавней сравнительной оценке стандартной задачи распознавания речи Switchboard исследователи Microsoft достигли 6,3 процента, что является самым низким показателем в отрасли.
В исследовательской работе (см. Ниже) ученые сказали:
«Наша лучшая одиночная система достигает 6,9% ошибок на наборе коммутаторов NIST 2000. Мы считаем, что это лучший результат на сегодняшний день для системы распознавания, не основанной на комбинации систем. Множество акустических моделей опережают современное состояние до 6,3% по данным испытаний Switchboard ».
Джеффри Цвейг, главный исследователь и менеджер исследовательской группы Microsoft Speech & Dialog, возглавил работу по распознаванию речи Switchboard. Он связывает лучшие в отрасли результаты распознавания речи с умениями исследователей, которые привели к разработке новых алгоритмов обучения, высокооптимизированных сверточных и рекуррентных моделей нейронных сетей и разработке таких инструментов, как CNTK.
Методы описаны в статье:
Система распознавания разговорной речи Microsoft 2016
Мы описываем систему распознавания разговорной речи Microsoft, в которой мы объединяем последние разработки в области акустического и языкового моделирования на основе нейронных сетей, чтобы продвинуться вперед в решении задачи распознавания Switchboard. Вдохновленная ансамблевыми методами машинного обучения, система использует ряд сверточных и рекуррентных нейронных сетей. I-векторное моделирование и обучение MMI без решетки обеспечивают значительные преимущества для всех архитектур акустических моделей. Восстановление языковой модели с использованием нескольких RNNLM, выполняемых в прямом и обратном направлениях, и комбинация систем на основе задних слов обеспечивают повышение на 20%. Лучшая одиночная система использует акустическую модель архитектуры ResNet с восстановлением RNNLM и достигает коэффициента ошибок слов в 6,9% в задаче NIST 2000 Switchboard. Комбинированная система имеет коэффициент ошибок 6,3%, что представляет собой улучшение по сравнению с ранее сообщенными результатами по этой тестовой задаче.
Кража моделей машинного обучения через API прогнозирования
Модели машинного обучения (ML) могут считаться конфиденциальными из-за их конфиденциальных обучающих данных, коммерческой ценности или использования в приложениях безопасности. Все чаще конфиденциальные модели машинного обучения развертываются с общедоступными интерфейсами запросов. Примером являются системы ML-as-a-service («прогнозная аналитика»): некоторые позволяют пользователям обучать модели на потенциально конфиденциальных данных и взимать плату с других за доступ на основе оплаты за запрос.
Противоречие между конфиденциальностью модели и публичным доступом мотивирует наше расследование атак извлечения модели. В таких атаках злоумышленник с доступом к черному ящику, но без предварительного знания параметров модели машинного обучения или обучающих данных, стремится дублировать функциональность модели (то есть «украсть»). В отличие от классической теории обучения, предложения ML-as-a-service могут принимать частичные векторы признаков в качестве входных данных и включать значения достоверности с прогнозами. С учетом этих практик мы демонстрируем простые и эффективные атаки, которые извлекают целевые модели машинного обучения с почти идеальной точностью для популярных классов моделей, включая логистическую регрессию, нейронные сети и деревья решений.
Мы демонстрируем эти атаки на онлайн-сервисы BigML и Amazon Machine Learning. Мы также показываем, что естественная контрмера исключения значений достоверности из выходных данных модели по-прежнему допускает потенциально опасные атаки извлечения модели. Наши результаты подчеркивают необходимость тщательного развертывания модели машинного обучения и контрмер при извлечении новой модели.
Улучшение начальной классификации и классификации изображений в TensorFlow
Inception-ResNet-v2, сверточная нейронная сеть (CNN), которая достигает нового уровня техники с точки зрения точности теста классификации изображений ILSVRC. Inception-ResNet-v2 — это вариант нашей более ранней модели Inception V3, которая заимствует некоторые идеи из статей Microsoft ResNet. Полная информация о модели содержится в нашем препринте arXiv Inception-v4, Inception-ResNet и The Impact of Residual Connections on Learning.
Например, в то время как модели Inception V3 и Inception-ResNet-v2 превосходны в определении индивидуальных пород собак, новая модель работает заметно лучше. Например, в то время как старая модель ошибочно указала на аляскинского маламута на картинке справа, новая модель Inception-ResNet-v2 правильно определяет породы собак на обоих изображениях.
Чтобы люди могли сразу же начать экспериментировать, мы также выпускаем предварительно обученный экземпляр нового Inception-ResNet-v2 как часть библиотеки моделей изображений TF-Slim.
Чтобы быть в курсе новых статей на I Programmer, подпишитесь на нашу еженедельную рассылку новостей, подпишитесь на RSS-канал и подпишитесь на нас в Twitter, Facebook, Google+ или Linkedin.
Комментарии
Оставьте комментарий или просмотрите существующие комментарии с помощью Disqus
или отправьте свой комментарий по адресу: comments@i-programmer.info