Max Home Industry«Survival of the Best Fit» — образовательная игра, разработанная Нью-Йоркским университетом, которая на практике демонстрирует, как алгоритмы машинного обучения могут принимать решения на основе предвзятости.
Игра дает вам роль генерального директора недавно финансируемой компании, которая получила финансирование и находится на этапе набора персонала для ее укомплектования.
Вначале вы просматриваете только присланные резюме. Ваш отбор основан на критериях квалификации, школьных привилегий, опыта работы и амбиций, и, поскольку вы делаете это самостоятельно, вы можете судить кандидатов в соответствии со своим опытом и ценностями. В моем случае я нанимал людей с опытом работы на 14% больше, чем средний соискатель.
Пока все хорошо, но инвесторы не хотят терять время, поскольку время — деньги, поэтому они заставляют вас ускорить процесс проверки резюме. Вы пытаетесь ответить как можно больше, но временные рамки настолько жесткие, плюс столько кандидатов, что вы больше не можете справиться. Таким образом, ИТ-отдел предлагает вскочить на шумиху вокруг машинного обучения, чтобы провести проверку от вашего имени.
Конечно, алгоритмы машинного обучения требуют обучения на наборах данных, поэтому вы скармливаете им резюме принятых кандидатов, чтобы алгоритм мог определить, как вы думаете, и какие ценности вы принимаете во внимание при приеме на работу. Оказывается, набор данных слишком мал для работы алгоритма, поэтому в конечном итоге вы также подключаете его, используя набор данных о товарах, который используется более крупной компанией, такой как Google, потому что Google не может ошибиться, верно?
Дело значительно набирает обороты, пока вы не получите жалобы на то, что некоторые очень квалифицированные кандидаты были отклонены алгоритмом. Теперь вам нужно ответить «почему», но, как выясняется, ответить непросто.
Жалобы продолжаются до тех пор, пока протест не станет настолько большим, что вам предъявят иск за дискриминацию жителей Блювилля в пользу жителей Оринджвилля. Это действие, которое отпугивает инвесторов, которые отказываются от финансирования, пока, наконец, вас не закроют.
Так в чем же мораль этой истории? Эти алгоритмы так же хороши, как и данные, на которые они опираются, и чем более смещены данные, тем более смещен алгоритм. Параметры смещения могут быть демографическими, как в этом случае из-за набора вымышленных данных Google, включающего больше кандидатов из Orangeville. Это привело к тому, что алгоритм пришел к выводу, что Orangevillers более ценны, чем Bluevillers, отсюда и предвзятость.
Другие параметры предвзятости, которые могут появиться, — это пол, этническая принадлежность, возраст и даже ваше имя, потому что это может намекать на три других параметра!
Игра заканчивается объяснением проблемы:
При построении автоматизированных систем принятия решений мы должны задаться вопросом: на каких показателях основаны эти решения и кого мы можем привлечь к ответственности?
С машинным обучением это становится непросто, потому что после того, как программа обучена на огромных объемах исторических данных, выяснить, почему было принято определенное решение, становится непросто. Это то, что называется проблемой черного ящика.
и советует:
Есть много точек зрения на подход к честным технологиям, и они включают в себя повышение осведомленности общественности и защиту интересов, привлечение к ответственности технологических компаний, привлечение более разнообразных мнений и разработку более социально сознательных образовательных программ в области CS.
Я бы также добавил перспективу использования самого ИИ для обнаружения дискриминации в системах ИИ. Недавнее исследование Пенсильванского университета гласит:
Обнаружение такой дискриминации в результате решений, принимаемых людьми или автоматизированными системами искусственного интеллекта, может быть чрезвычайно сложной задачей. Эта проблема еще больше усугубляется широким внедрением систем искусственного интеллекта для автоматизации решений во многих областях, включая правоохранительную деятельность, потребительское финансирование, высшее образование и бизнес.
Команда создала инструмент искусственного интеллекта для обнаружения дискриминации в отношении защищенного атрибута, такого как раса или пол, со стороны лиц, принимающих решения, или систем искусственного интеллекта, который основан на концепции причинности, в которой одна вещь — причина — вызывает другую вещь — эффект.
Таким образом, геймификация предлагает простой способ усвоения концепций посредством игры, а также повышения осведомленности. «Выживание наиболее подходящих» может сыграть важную роль в расширении признания этики и ИИ:
Вот почему мы хотим, чтобы вопросы технической этики были доступны для тех, кто, возможно, не посещал уроки информатики раньше, но, тем не менее, может многое добавить к разговору.