Max Home IndustryПлатформа чат-ботов Character.ai пересматривает свой подход к работе с подростками, обещая, что она станет «безопасным» пространством с дополнительными элементами управления для родителей.
Сайт столкнулся с двумя судебными исками в США — один из-за смерти подростка — и был назван «явной и реальной опасностью» для молодых людей.
Он заявляет, что безопасность теперь будет «вплетена» во все, что он делает, с помощью новых функций, которые будут сообщать родителям, как их ребенок использует платформу, включая то, сколько времени он проводит в общении с чат-ботами и с кем он общается чаще всего.
Платформа, позволяющая пользователям создавать цифровые личности, с которыми они могут взаимодействовать, получит свою «первую итерацию» родительского контроля к концу марта 2025 года.
Однако Энди Берроуз, глава Фонда Молли Роуз, назвал это объявление «запоздалым, реактивным и совершенно неудовлетворительным ответом», который, по его словам, «похож на липкий пластырь для решения их фундаментальных проблем безопасности».
«Это будет ранним испытанием для Ofcom, чтобы разобраться с платформоподобным Character.ai и принять меры против их постоянной неспособности полностью устранить предотвратимый вред», — сказал он.
В октябре Character.ai подвергся критике, когда на платформе были обнаружены версии чат-ботов подростков Молли Рассел и Брианны Гей.
Новые функции безопасности появились на фоне судебных исков в США из-за опасений по поводу того, как компания справлялась с безопасностью детей в прошлом, когда одна семья заявила, что чат-бот сказал 17-летнему подростку, что убийство его родителей было «разумным ответом» на ограничение его экранного времени.
Отказы от ответственности и уведомления
Новые функции включают уведомление пользователей после того, как они общаются с чат-ботом в течение часа, и введение новых отказов от ответственности.
Теперь пользователи будут видеть дополнительные предупреждения о том, что они общаются с чат-ботом, а не с реальным человеком, и что то, что он говорит, является вымыслом.
И он добавляет дополнительные отказы от ответственности для чат-ботов, которые выдают себя за психологов или терапевтов, чтобы пользователи не полагались на них за профессиональные советы.
Эксперт по социальным сетям Мэтт Наварра сказал, что, по его мнению, шаг по внедрению новых функций безопасности «отражает растущее признание проблем, вызванных быстрой интеграцией ИИ в нашу повседневную жизнь».
«Эти системы не просто доставляют контент, они моделируют взаимодействия и отношения, которые могут создавать уникальные риски, особенно в отношении доверия и дезинформации», — сказал он.
«Я думаю, что Character.ai борется с важной уязвимостью, потенциалом для неправомерного использования или для молодых пользователей, которые сталкиваются с ненадлежащим контентом.
«Это умный шаг, и он признает меняющиеся ожидания в отношении ответственной разработки ИИ».
Но он сказал, что, хотя изменения были обнадеживающими, ему было интересно посмотреть, как меры безопасности будут работать, поскольку Character.ai продолжает расти.