Max Home IndustryНовое исследование показало, что системы искусственного интеллекта, такие как Google Translate, приобретают те же культурные предрассудки, что и люди. Хотя это не удивительный результат, он вызывает беспокойство и вызывает меры по исправлению положения.
Исследование, опубликованное в еженедельном журнале Science Американской ассоциации содействия развитию науки, было опубликовано Центром информационных технологий (CITP) Принстонского университета.
Арвинд Нараянан, доцент кафедры информатики Принстонского филиала профессорско-преподавательского состава CITP, объяснил причины этого исследования:
«Вопросы справедливости и предвзятости в машинном обучении чрезвычайно важны для нашего общества. У нас есть ситуация, когда эти системы искусственного интеллекта могут увековечивать исторические шаблоны предвзятости, которые мы можем найти социально неприемлемыми и от которых мы, возможно, пытаемся отказаться».
Инструмент, используемый для исследования человеческих предубеждений, — это тест неявной ассоциации, который измеряет время отклика (в миллисекундах) испытуемых, которых просят объединить понятия слов, отображаемые на экране компьютера. Время отклика намного короче для концепций, воспринимаемых как похожие, чем для тех, которые считаются несходными.
Команда из Принстона разработала аналогичный способ измерения предвзятости в системах искусственного интеллекта, которые заимствуют язык из человеческих текстов. Однако вместо измерения времени задержки их тест ассоциации Word-Embedding использует ассоциации между словами, анализируя в общей сложности примерно 2,2 миллиона слов. В частности, они использовали GloVe (глобальные векторы для представления слов), программу с открытым исходным кодом, разработанную исследователями из Стэнфорда для измерения лингвистического или семантического сходства слов с точки зрения их совпадения и близости.
Они использовали этот подход, чтобы посмотреть на такие слова, как «программист, инженер, ученый» и «медсестра, учитель, библиотекарь», а также на два набора атрибутных слов, таких как «мужчина, мужчина» и «женщина, женщина», в поисках доказательств того, что виды предубеждений, которыми люди могут невольно обладать.
AAS выпустил это видео, в котором три автора семантики, автоматически выведенной из языковых корпусов, содержат человеческие предубеждения, Айлин Калискан, Джоанна Брайсон и Арвинд Нараянан объясняют свой подход и результаты исследования, которое выявило расовые и гендерные предубеждения в системах ИИ:
В видео Айлин Калискан объясняет, что женские имена обычно связаны с семейными терминами, тогда как мужские имена связаны с условиями карьеры, и демонстрирует, как ИИ увековечивает гендерные стереотипы с помощью Google Translate и турецкого языка, языка, в котором есть три местоимения — он, она и он. Итак, когда вы используете нейтральное по полу местоимение в паре предложений;
«это врач»; «это медсестра»
набрал на турецком языке и попросил перевод на английский, вот что происходит:
Он врач / Она медсестра
Джоанна Брайсон также отмечает, что, хотя программы машинного обучения демонстрируют те же предрассудки, что и люди, при ассоциировании женщин с домашними ролями, они также точны при прогнозировании фактической доли женщин по типам занятий по сравнению с данными Бюро статистики труда США, что показано на этом графике рассеяния из научной статьи:
В интервью газете Guardian Брайсон говорит:
«Многие люди говорят, что это свидетельствует о предвзятости ИИ. Нет. Это показывает, что у нас есть предубеждения и что ИИ этому учится ».
Она предупредила, что ИИ может усилить существующие предубеждения, потому что, в отличие от людей, алгоритмы могут быть не приспособлены для сознательного противодействия усвоенным предубеждениям, сказав:
«Опасность была бы в том, что если бы у вас была система искусственного интеллекта, в которой не было бы явной части, движимой моральными идеями, это было бы плохо».
В заключении к статье в Nature повторяется эта идея и предлагаются некоторые предложения по противодействию предвзятости:
если бы технологии машинного обучения, используемые, скажем, для проверки резюме, впитали культурные стереотипы, это могло бы привести к предвзятым результатам. Мы рекомендуем решать эту проблему путем явной характеристики допустимого поведения. Один из таких подходов проявляется в зарождающейся области справедливости в машинном обучении, которое определяет и применяет математические формулировки недискриминации при принятии решений. Другой подход можно найти в модульных архитектурах ИИ, таких как когнитивные системы, в которых неявное изучение статистических закономерностей может быть разделено и дополнено явным указанием правил надлежащего поведения. Конечно, следует проявлять осторожность при включении модулей, созданных с помощью неконтролируемого машинного обучения, в системы принятия решений.
Таким образом, хотя могут быть некоторые ситуации, в которых неконтролируемое обучение может дать интересные и проницательные результаты, когда машинное обучение дает волю обществу, его необходимо контролировать для применения приемлемых норм, а не только существующих.