Microsoft добавляет анализ ошибок в наборы инструментов ИИ с открытым исходным кодом

Microsoft добавила новый инструментарий в свою коллекцию «ответственного ИИ». Новое дополнение предназначено для анализа ошибок и использует машинное обучение для разделения ошибок модели. Инструменты искусственного интеллекта не только доступны в виде наборов с открытым исходным кодом, но и интегрированы в Машинное обучение Azure.

Инструменты из исходной коллекции, которые были представлены на Microsoft Build в 2020 году — InterpretML, Fairlearn и SmartNoise — позволяют специалистам по данным машинного обучения понимать прогнозы моделей, оценивать справедливость и защищать конфиденциальные данные.

InterpretML можно использовать для повышения точности моделей машинного обучения и для выполнения анализа «что если», чтобы увидеть, что происходит с прогнозами модели при изменении значений функций. Fairlearn можно использовать, чтобы убедиться, что результаты ваших моделей более справедливы для всех. Это позволяет вам оценить справедливость модели и уменьшить ее влияние при оптимизации производительности модели.
Последний инструмент в исходной коллекции, SmartNoise, можно использовать для создания передовых методов дифференцированной конфиденциальности. Его можно использовать для добавления статистического шума в данные, чтобы помочь предотвратить раскрытие частной информации без значительной потери точности, а также для управления риском воздействия путем отслеживания информационного бюджета, используемого отдельными запросами, и ограничения дальнейших запросов, если это необходимо. SmartNoise теперь обновлен с возможностью защиты целых наборов данных с помощью новой возможности синтетических данных. Синтетический набор данных представляет собой искусственно созданную выборку, полученную из исходного набора данных, сохраняя при этом как можно больше статистических характеристик. Исходный набор данных комбинируется с синтетическим, чтобы создать «дифференциально частный синтетический набор данных», который можно анализировать много раз без увеличения риска конфиденциальности.
Основное нововведение — это набор инструментов для анализа ошибок. Анализ ошибок использует машинное обучение для разделения ошибок модели. Ошибки сгруппированы по значимым измерениям, поэтому специалисты по данным получают более четкое представление о закономерностях в ошибках. Идея состоит в том, чтобы легче идентифицировать подгруппы с большей погрешностью и визуально диагностировать первопричины этих ошибок.
Планируется, что к середине 2021 года анализ ошибок вместе с другими наборами инструментов Responsible AI будет объединен в более крупную панель оценки модели, доступную как в OSS, так и в Машинном обучении Azure.