Uma mãe do estado da Flórida, nos Estados Unidos,
Segundo ela, Sewell Setzer, que tinha 14 anos, ficou viciado e apegado emocionalmente a um personagem criado por inteligência artificial através do serviço da empresa. O garoto, tirou a própria vida após meses de trocas de mensagens com o chatbot, uma plataforma de bate-papo entre um humano e uma inteligência artificial, pelo qual teria ficado obcecado e supostamente se apaixonado, informaram os documentos judiciais protocolados.
No processo movido no último dia 22 em um tribunal federal de Orlando, a mãe, Megan Garcia, afirmou que a Character.AI direcionou seu filho para “experiências antropomórficas, hipersexualizadas e assustadoramente realistas”.
Garcia acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional. Ela busca uma indenização, não especificada, pelos danos causados em decorrência da perda.
A ação também inclui o Google, onde os fundadores da Character.AI trabalharam antes de lançar seu produto. O Google recontratou os fundadores em agosto como parte de um acordo em que obteve uma licença não exclusiva à tecnologia da Character.AI
Segundo Megan Garcia, o Google contribuiu tanto para o desenvolvimento da tecnologia da Character.AI que deveria ser considerado cocriador dela.
Sewell atirou em si mesmo com a arma de seu pai, de acordo com o processo.
Personagem inspirado em ‘Game of Thrones’
Na plataforma, Sewell se apegou a “Daenerys”, uma personagem de chatbot - programa que simula conversas humanas - inspirada na série “Game of Thrones”. As conversas com o ‘robô' Dany - batizado em referência à personagem de Emilia Clarke na série - tinham conotação sexual e também referências a suicídio por parte do jovem.
“Em pelo menos uma ocasião, quando Sewell – que usava o apelido Daenero - expressou tendências suicidas para C.AI, que continuou a trazer isso à tona, por meio do chatbot de Daenerys, repetidamente”, afirmam os documentos divulgados pelo The New York Times.
Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma. Megan Garcia afirma que a empresa programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.
De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.
Em trocas de mensagens recuperadas e adicionadas ao processo, o bot perguntou a Sewell se “ele tinha um plano” para tirar a própria vida e ele respondeu que estava “considerando algo”, mas não sabia se funcionaria ou se “permitiria que ele tivesse uma morte sem dor”.
Na última conversa entre o jovem e a inteligência artificial, o adolescente escreveu: “Prometo que voltarei para casa para você. Eu te amo muito, Dany”. Em resposta, o app postou: “Eu também te amo, Daenero. Por favor, volte para casa para mim o mais rápido possível, meu amor”. “E se eu dissesse que poderia voltar para casa agora mesmo?”, escreveu Sewell, no que foi respondido pela IA: “Por favor, faça isso, meu doce rei”. Segundos depois, Sewell atirou em si mesmo com a arma de seu pai, de acordo com o processo.
Empresa diz ter introduzido novos recursos de segurança
A Character.AI permite que os usuários criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais. Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que “treina” chatbots em grandes volumes de texto.
A empresa disse, em setembro, que tinha cerca de 20 milhões de usuários. Em comunicado, a Character.AI diz estar “com o coração partido pela perda trágica de um de nossos usuários” e expressa condolências à família.
A empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários para uma instituição de prevenção ao suicídio caso eles expressem pensamentos de automutilação. A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.
Um porta-voz do Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.
Empresas de redes sociais, incluindo o Instagram e o Facebook, de propriedade da Meta, e o TikTok, da ByteDance, enfrentam processos que as acusam de contribuir para problemas de saúde mental em adolescentes, embora nenhuma ofereça chatbots movidos a IA semelhantes aos da Character.AI.
