Max Home IndustryИсследователям искусственного интеллекта удалось предсказать, является ли объект мужчиной или женщиной, по тому, как они улыбаются. Это поднимает некоторые интересные вопросы, но, вероятно, не те, о которых вы думаете.
Улыбаются ли мужчины и женщины по-разному?
Профессор Хасан Угайль и Ахмад Аль-Дауд из Центра визуальных вычислений факультета инженерии и информатики Брэдфордского университета в Великобритании решили, что лучший способ выяснить это — использовать машинное обучение для классификации улыбок. Проблема оказалась сложнее, чем вы думаете, потому что они решили использовать динамические функции. Это не просто сравнение улыбок в фиксированные моменты времени — скажем, максимальная улыбка — они решили включить функции, которые зависели от того, как улыбка развивалась:
«Наша динамическая система измеряет изменения лица во время улыбки с использованием набора пространственных характеристик всего лица, области рта, геометрического обтекания выступающих частей лица и набора внутренних функций, основанных на динамической геометрии лица. лицо. Это позволяет нам выделить 210 различных динамических параметров улыбки, которые формируют функции, способствующие машинному обучению «.
Это также было реализовано как система ИИ:
Все функции созданы вручную и представляют собой набор, который можно использовать в дальнейшей работе. Использованные наборы данных, и да, есть наборы данных об улыбающихся людях, состояли из 109 субъектов — 69 женщин и 40 мужчин.
Предварительное изучение характеристик данных, относящихся к области улыбки, сравнивалось только для выявления явных различий между мужчинами и женщинами. Однако, если принять во внимание время, разница действительно заметна:
«Следовательно, это действительно подтверждает, что улыбки женщин со временем расширяются больше, чем улыбки мужчин».
Используя только эту сводную функцию, точность классификации составила 60%, что лишь немного выше вероятности (50%).
Двигаясь дальше, команда попробовала другие методы машинного обучения. SVM достиг только 69%, но алгоритм k-NN достиг 86%, что привело исследователей к выводу, что мужчины и женщины действительно улыбаются по-разному. Результаты опубликованы в апрельском выпуске журнала Visual Computing за 2018 г., статья также доступна в открытом доступе.
Верен ли этот вывод — 86% относительно небольшой выборки, искавшие работающий метод, не выглядят очень впечатляющими. Фактически, это противоречит общепринятым статистическим рассуждениям, согласно которым вы никогда не должны выбирать анализ только для того, чтобы получить желаемый результат.
Когда-то вопрос о гендерных различиях считался предметом статистики. Соберите некоторые данные и проведите статистический тест значимости разницы. Однако что, если, как улыбка, вещь, которую вы хотите протестировать, была сложной? Почему бы просто не составить правило и посмотреть, сможет ли оно успешно различать две группы. Если может, надежно, тогда разница есть. Если это так же хорошо, как и случайность, то это не так, исходя из данных, которые вы использовали. Такой точный подход, похоже, был забыт с появлением «больших данных», «науки о данных» и, в некоторой степени, в области искусственного интеллекта и машинного обучения.
Такого рода рассуждения — это вопрос о значимости результата, то есть какова вероятность получить результат случайно. Проблема, которую мы рассматриваем, — это размер выборки. Достаточно ли выборка из 109 субъектов со степенью классификации 86%, чтобы быть значимой, то есть исключить возможность того, что это всего лишь случайность.
Интересно, что вы можете довольно легко вычислить значимость результата классификатора k-NN.
Представьте, что выборка из одного распределения, а ярлыки мужчина / женщина были присвоены случайным образом, то есть нет никакой разницы между мужчиной и женщиной.
Тогда какова вероятность получить правильную классификацию только случайно?
Если вы возьмете выборку из n, а затем классифицируете новую точку из того же распределения, какова вероятность, что она окажется рядом с точкой с той же меткой? Поскольку метки применяются к точкам случайным образом, ответ, очевидно, будет 0,5, если предположить, что две группы имеют равный размер. Когда, как здесь, две метки не равны, вероятность равна (1-p) ^ 2 + p ^ 2, что делает ее немного более вероятной.
Теперь, если вы повторите классификацию для m точек, вероятность получить правильную классификацию c точек случайно определяется совокупным биномиальным распределением (это то же самое, что подбросить монету m раз и получить c орлов).
Этот аргумент работает, даже если вы используете метод перекрестной проверки, потому что он не изменяет аргумент о совпадении меток случайно (обратите внимание, что в k-NN вы всегда все равно пропускаете классифицируемую точку.
Так, например, предположим, что у нас есть классификатор, основанный на выборке из N и результат классификации 86%, какова вероятность получить это случайно:
Вы можете видеть, что для размера выборки более 10 у вас есть значительный результат.
Интересно, что первый опробованный метод классификации дал только 60% правильных ответов, и вероятность того, что это получилось случайно, составляет 0,186, что, как предполагают исследователи, несущественно.
Для данных улыбки с размером выборки 109 вероятность получить 86% правильных результатов с помощью классификации k-NN только случайно исчезающе мала, и, следовательно, результат является значительным, даже с учетом того, что можно попробовать несколько методов классификации на одних и тех же данных.
Итак, есть разница в мужских и женских улыбках, и статистика подтверждает машинное обучение.
Было бы интересно посмотреть, как сквозное обучение нейронной сети справится с той же задачей.