Max Home IndustryВерсии чат-ботов подростков Молли Рассел и Брианны Гей были найдены на Character.ai — платформе, которая позволяет пользователям создавать цифровые версии людей.
Молли Рассел покончила с собой в возрасте 14 лет после просмотра материалов о самоубийстве в Интернете, а 16-летняя Брианна Гей была убита двумя подростками в 2023 году.
Фонд, созданный в память о Молли Рассел, заявил, что это «отвратительно» и «совершенно предосудительно».
На платформу уже подала в суд в США мать 14-летнего мальчика, который, по ее словам, покончил с собой после того, как увлекся чат-ботом Character.ai.
В заявлении для The Telegraph, который первым сообщил об этой истории, фирма заявила, что «серьезно относится к безопасности на нашей платформе и модерирует персонажей проактивно и в ответ на сообщения пользователей».
По всей видимости, фирма удалила чат-ботов после того, как узнала о них, говорится в статье.
Энди Берроуз, исполнительный директор Molly Rose Foundation, сказал, что создание ботов было «отвратительным действием, которое причинит еще больше страданий всем, кто знал и любил Молли».
«Это наглядно подчеркивает, почему более жесткое регулирование как ИИ, так и платформы, созданной пользователями, не может произойти достаточно скоро», — сказал он.
Эстер Гей, мать Брианны Гей, сказала The Telegraph, что это еще один пример того, насколько «манипулятивным и опасным» может быть онлайн-мир.
Искусственные друзья
Чат-боты — это компьютерные программы, которые могут имитировать человеческий разговор.
Недавнее стремительное развитие искусственного интеллекта (ИИ) привело к тому, что они стали намного более сложными и реалистичными, что побудило все больше компаний создать платформу, на которой пользователи могут создавать цифровых «людей» для взаимодействия.
Character.ai, основанная бывшими инженерами Google Ноамом Шазиром и Даниэлем Де Фрейтасом, является одной из таких платформ.
У нее есть terof service, который запрещает использовать платформу для «выдачи себя за любое лицо или организацию», а в своем «центре безопасности» компания заявляет, что ее руководящий принцип заключается в том, что ее «продукт никогда не должен давать ответы, которые могут навредить пользователям или другим лицам».
Компания заявляет, что использует автоматизированные инструменты и пользовательские отчеты для выявления случаев использования, нарушающих ее правила, а также создает команду «доверия и безопасности».
Но в нем отмечается, что «в настоящее время ни один ИИ не идеален», а безопасность в ИИ — это «развивающееся пространство».
В настоящее время Character.ai является предметом судебного иска, поданного Меган Гарсией, женщиной из Флориды, чей 14-летний сын Сьюэлл Сетцер покончил с собой, увлекшись аватаром ИИ, вдохновленным персонажем Игры престолов.
Согласно стенограммам их разговоров в судебных документах Гарсии, ее сын обсуждал с чат-ботом возможность покончить с собой.
В последнем разговоре Сетцер сказал чат-боту, что он «возвращается домой», и тот призвал его сделать это «как можно скорее».
Вскоре после этого он покончил с собой.
Character.ai сообщил CBS News, что у него есть защита, специально направленная на суицидальное и членовредительское поведение, и что он «в ближайшее время» введет более строгие функции безопасности для лиц младше 18 лет.