Max Home IndustryЭто был 2022 год, и Цай, которому тогда было 16 лет, прокручивал ленту на своем телефоне. Он говорит, что одним из первых видео, которое он увидел в своих лентах социальных сетей, было видео с милой собакой. Но затем все изменилось.
Он говорит, что «из ниоткуда» ему порекомендовали видео, где кого-то сбивает машина, монолог влиятельного лица, разделяющего женоненавистнические взгляды, и клипы жестоких драк. Он поймал себя на мысли — почему я?
В Дублине Эндрю Каунг работал аналитиком по безопасности пользователей в TikTok, и занимал эту должность в течение 19 месяцев с декабря 2020 года по июнь 2022 года.
Он говорит, что вместе с коллегой решил изучить, какие пользователи в Великобритании рекомендуются алгоритмами приложения, включая некоторых 16-летних подростков. Незадолго до этого он работал в конкурирующей компании Meta, которой принадлежит Instagram — еще один сайт, который использует Кай.
Когда Эндрю посмотрел на контент TikTok, он был встревожен, обнаружив, что некоторым мальчикам-подросткам показывают посты, содержащие насилие и порнографию, а также пропагандирующие женоненавистнические взгляды, рассказал он BBC Panorama. Он говорит, что в целом девочкам-подросткам рекомендовали совершенно другой контент в зависимости от их интересов.
TikTok и другие компании социальных сетей используют инструменты ИИ для удаления подавляющего большинства вредоносного контента и пометки другого контента для проверки модераторами-людьми, независимо от количества просмотров. Но инструменты ИИ не могут определить все.
Эндрю Каунг говорит, что во время его работы в TikTok все видео, которые не были удалены или помечены модераторами-людьми с помощью ИИ — или о которых другие пользователи не сообщили модераторам — затем проверялись вручную только после достижения определенного порога.
Он говорит, что в какой-то момент этот предел был установлен на уровне 10 000 просмотров или более. Он опасался, что это означало, что некоторые молодые пользователи подвергались воздействию вредоносных видео. Большинство крупных компаний социальных сетей разрешают регистрироваться лицам в возрасте от 13 лет и старше.
TikTok заявляет, что 99% контента, который он удаляет за нарушение своих правил, удаляется ИИ или модераторами-людьми до того, как он достигнет 10 000 просмотров. Также сообщается, что проводятся упреждающие расследования в отношении видео с меньшим количеством просмотров.
Эндрю Каунг говорит, что когда он работал в Meta с 2019 по декабрь 2020 года, была другая проблема. Он говорит, что, хотя большинство видео удалялись или помечались модераторами с помощью инструментов искусственного интеллекта, сайт полагался на то, что пользователи сообщали о других видео, как только они их уже видели.
Он говорит, что он высказывал опасения, работая в обеих компаниях, но в основном был встречен бездействием из-за опасений по поводу объема необходимой работы или стоимости. Он говорит, что впоследствии в TikTok и Meta были внесены некоторые улучшения, но, по его словам, молодые пользователи, такие как Cai, тем временем подвергались риску.
Несколько бывших сотрудников социальных сетей сообщили BBC, что опасения Эндрю Каунга соответствовали их собственным знаниям и опыту.
Алгоритм от всех основных компаний социальных сетей рекомендовал детям вредный контент, даже если непреднамеренно, сообщил BBC британский регулятор Ofcom.
«Компании закрывали глаза и относились к детям так же, как и ко взрослым», — говорит Альмудена Лара, директор по разработке политики безопасности в Интернете Ofcom.
«Моему другу нужна была проверка реальности»
TikTok сообщил BBC, что у него «лидирующие в отрасли» настройки безопасности для подростков и что в нем работает более 40 000 человек, которые обеспечивают безопасность пользователей. Компания заявила, что только в этом году планирует инвестировать «более 2 млрд долларов (1,5 млрд фунтов) в безопасность», а из контента, который она удаляет за нарушение своих правил, 98% она обнаруживает проактивно.
Meta, которой принадлежат Instagram и Facebook, утверждает, что у нее есть более 50 различных инструментов, ресурсов и функций, чтобы дать подросткам «позитивный и соответствующий возрасту опыт».
Кай рассказал BBC, что пытался использовать один из инструментов Instagram и аналогичный инструмент в TikTok, чтобы сказать, что его не интересует жестокий или женоненавистнический контент, но, по его словам, ему продолжали его рекомендовать.
Он интересуется UFC — Ultimate Fighting Championship. Он также обнаружил, что смотрит видео от противоречивых инфлюенсеров, когда они ему их присылали, но, по его словам, не хотел, чтобы ему рекомендовали этот более экстремальный контент.
«Вы получаете картинку в своей голове и не можете ее выкинуть. [Она] засоряет ваш мозг. И поэтому вы думаете об этом весь оставшийся день», — говорит он.
Он говорит, что его знакомым девочкам того же возраста рекомендовали видео на такие темы, как музыка и макияж, а не насилие.
Тем временем Цай, которому сейчас 18 лет, говорит, что ему все еще подсовывают жестокий и женоненавистнический контент как в Instagram, так и в TikTok.
Когда мы прокручиваем его Instagram Reels, мы видим изображение, высмеивающее домашнее насилие. На нем изображены два персонажа рядом, у одного из которых синяки, с подписью: «Мой язык любви». На другом изображен человек, которого сбивает грузовик.
Кай говорит, что заметил, что видео с миллионами лайков могут быть убедительными для других молодых людей его возраста.
Например, он говорит, что один из его друзей увлекся контентом противоречивого инфлюенсера и начал принимать женоненавистнические взгляды.
Его друг «зашел слишком далеко», говорит Кай. «Он начал говорить вещи о женщинах. Это как будто вы должны проверить своего друга на реальность».
Кай говорит, что он комментировал посты, чтобы сказать, что они ему не нравятся, и когда он случайно ставил лайки видео, он пытался отменить это, надеясь, что это сбросит алгоритмы. Но он говорит, что в итоге его ленты заполонило еще больше видео.
Так как же на самом деле работают алгоритмы TikTok?
По словам Эндрю Каунга, топливо алгоритмов — это вовлеченность, независимо от того, положительная она или отрицательная. Это может частично объяснить, почему попытки Цая манипулировать алгоритмом не сработали.
Первый шаг для пользователей — указать некоторые симпатии и интересы при регистрации. Эндрю говорит, что часть контента, изначально предоставляемого алгоритмом, скажем, 16-летнему подростку, основана на предпочтениях, которые он указывает, и предпочтениях других пользователей того же возраста в том же месте.
Согласно TikTok, алгоритм не учитывает пол пользователя. Но Эндрю говорит, что интересы, которые подростки выражают при регистрации, часто разделяют их по гендерному признаку.
Бывший сотрудник TikTok говорит, что некоторые 16-летние мальчики могут столкнуться с жестоким контентом «сразу», потому что другие пользователи-подростки с похожими предпочтениями проявили интерес к этому типу контента — даже если это просто означает, что нужно потратить больше времени на видео, которое привлекает их внимание на немного дольше.
Интересы, указанные многими девочками-подростками в профилях, которые он исследовал, — «поп-певицы, песни, макияж» — означали, что им не рекомендовали этот жестокий контент, говорит он.
Он говорит, что алгоритм использует «обучение с подкреплением» — метод, при котором системы искусственного интеллекта обучаются методом проб и ошибок — и обучаются определять поведение по отношению к разным видео.
Эндрю Каунг говорит, что они разработаны для максимального вовлечения, показывая вам видео, которые, как они ожидают, вы будете смотреть дольше, комментировать или лайкать — все для того, чтобы вы возвращались снова и снова.
Он говорит, что алгоритм, рекомендующий контент для страницы TikTok «For You», не всегда различает вредный и безвредный контент.
По словам Эндрю, одной из проблем, которую он выявил, работая в TikTok, было то, что команда, участвующая в обучении и кодировании этого алгоритма, не всегда знала точную природу рекомендуемых им видео.
«Они видят количество зрителей, возраст, тенденции, и это очень абстрактные данные. Они не обязательно будут фактически подвержены воздействию контента», — говорит мне бывший аналитик TikTok.
Вот почему в 2022 году он и его коллега решили посмотреть, какие типы видео рекомендуются различным пользователям, включая некоторых 16-летних.
Он говорит, что они были обеспокоены тем, что жестокий и вредный контент показывается некоторым подросткам, и предложили TikTok обновить свою систему модерации.
Они хотели, чтобы TikTok четко маркировал видео, чтобы все работающие там могли видеть, почему они вредны — крайнее насилие, оскорбления, порнография и так далее — и нанимали больше модераторов, которые специализируются в этих разных областях. Эндрю говорит, что их предложения были отклонены в то время.
TikTok говорит, что в то время у него были специальные модераторы, и по мере роста платформы он продолжал нанимать больше. Он также сказал, что разделил различные типы вредоносного контента — в так называемые очереди — для модераторов.