Max Home IndustryЭто не ограничивается только рейтингами приложений. Как часто вы видите низкий рейтинг, а затем читаете обзор только для того, чтобы обнаружить противоречие между тем, что было сказано, и количеством присвоенных звезд? Что происходит? Неужели пользователи просто логически несовместимые существа? Конечно, есть!
Больше мультяшных забав на xkcd, веб-комиксе о романтике, сарказме, математике и языке
Отзывы важны, и все мы знаем, что система звездных рейтингов еще важнее и что приложение с низким рейтингом, вероятно, даже не рассматривается пользователем. Что еще хуже, после закрытия приложения с низким рейтингом пользователь, вероятно, не будет фактически читать обзоры, чтобы узнать, оправдана ли оценка каким-либо образом.
Поэтому неправильные звездные рейтинги достаточно важны, чтобы стать предметом некоторых исследований. Рахул Араликатте, Гирипрасад Шридхара, Ниламадхав Гантаят и Сентил Мани — все исследователи IBM решили выяснить, какова на самом деле ситуация в Android Play Store.
«К сожалению, по целому ряду причин, часто рейтинг, предоставленный пользователем, не согласуется с мнением, выраженным в обзоре. Например, рассмотрим следующий обзор приложения Facebook для Android:« Отличное приложение ». Было бы разумно ожидайте, что оценка этого обзора будет пять звезд, но фактическая оценка — одна звезда! Такие непоследовательные оценки могут привести к заниженной (или завышенной) общей средней оценке приложения, что может повлиять на загрузки пользователей, поскольку обычно пользователи смотрят на средний рейтинг звезд при принятии решения о загрузке приложения «.
Исследователи вручную проверили около 9000 приложений и обнаружили, что 20% из них имеют непоследовательные, слишком хорошие или плохие оценки по полученным ими отзывам. Это удивительно высокий процент, который может привести к значительному искажению среднего рейтинга.
Пытаясь автоматически определять такие несогласованные рейтинги, они опробовали ряд подходов к машинному обучению. Из тех, что были опробованы, все традиционные подходы управляли только посредственной производительностью, за исключением нейронной сети, которая достигла точности 92% — на эту часть исследования стоит обратить внимание для сравнения методов.
Затем в качестве теста они попросили 23 пользователя приложения написать отзывы и присвоить звездные рейтинги. Нейронная сеть достигла 87% успеха в прогнозировании звездных рейтингов. Это говорит о том, что Google и любой другой центр проверки должны запускать нейронную сеть по звездным рейтингам и либо отмечать, либо учитывать, либо даже проверять любые аномалии. Сеть также использовалась для оценки количества ошибочных звездных оценок в магазине и дала цифру от 16% до 26%.
К сожалению, нет никаких указаний на то, почему звездные рейтинги могут быть такими неточными. Это пользовательский интерфейс или пользователь? Все мы, программисты, знаем, что думаем о пользователях …