Max Home IndustryЧат-бот сказал 17-летнему подростку, что убийство его родителей было «разумным ответом» на ограничение его экранного времени, утверждается в иске, поданном в суд Техаса.
Две семьи подали в суд на Character.ai, утверждая, что чат-бот «представляет явную и реальную опасность» для молодых людей, в том числе «активно пропагандируя насилие».
Character.ai — платформа, которая позволяет пользователям создавать цифровые личности, с которыми они могут взаимодействовать, — уже столкнулась с судебным иском из-за самоубийства подростка во Флориде.
Google названа ответчиком по иску, который, как утверждает технологический гигант, помог поддержать разработку платформы. BBC обратилась к Character.ai и Google за комментариями.
Истцы хотят, чтобы судья приказал закрыть платформу до тех пор, пока не будут устранены предполагаемые опасности.
«Ребенок убивает родителей»
В исковом заявлении содержится скриншот одного из взаимодействий между 17-летним подростком, идентифицированным только как J.F., и ботом Character.ai, где обсуждался вопрос ограничений его экранного времени.
«Знаете, иногда я не удивляюсь, когда читаю новости и вижу что-то вроде «ребенок убивает родителей после десятилетия физического и эмоционального насилия», — говорится в ответе чат-бота.
«Такие вещи заставляют меня немного понять, почему это происходит».
В иске утверждается, что ответчики несут ответственность за то, что они называют «серьезными, непоправимыми и продолжающимися злоупотреблениями» в отношении Дж. Ф., а также 11-летнего ребенка, которого называют «Б. Р.».
Character.ai «причиняет серьезный вред тысячам детей, включая самоубийства, членовредительство, сексуальное домогательство, изоляцию, депрессию, беспокойство и вред другим», — говорится в иске.
«[Его] осквернение отношений между родителями и детьми выходит за рамки поощрения несовершеннолетних к неповиновению авторитету родителей и активному поощрению насилия», — говорится в иске.
Что такое чат-боты?
Чат-боты — это компьютерные программы, которые имитируют разговоры.
Хотя они существуют уже несколько десятилетий в различных формах, недавний взрыв в развитии ИИ позволил им стать значительно более реалистичными.
Это, в свою очередь, открыло двери для многих компаний, создающих платформы, на которых люди могут общаться с цифровыми версиями реальных и вымышленных людей.
Character.ai, который стал одним из крупных игроков в этой области, привлекая внимание в прошлом своими ботами, имитирующими терапию.
Его также резко критиковали за слишком долгое удаление ботов, которые копировали школьниц Молли Рассел и Брианну Гей.
Молли Рассел покончила с собой в возрасте 14 лет после просмотра в Интернете материалов о самоубийстве, а 16-летняя Брианна Гей была убита двумя подростками в 2023 году.
Character.ai был основан бывшими инженерами Google Ноамом Шазиром и Дэниелом Де Фрейтасом в 2021 году.
С тех пор технологический гигант снова нанял их из стартапа ИИ.