* Atenção: o conteúdo abaixo é sensível. Caso você precise de ajuda, acione o CVV no site ou pelo telefone 188
Duas famílias estão processando a Character.AI, uma empresa de chatbot de inteligência artificial, por fornecer conteúdo sexual, incentivar a automutilação e violência para crianças.
Segundo os autos do processo, o Character.AI “representa um perigo claro e presente para os jovens americanos, causando sérios danos a milhares de crianças, incluindo suicídio, automutilação, solicitação sexual, isolamento, depressão, ansiedade e danos a outras pessoas”.
Em um dos casos, um bot da empresa sugeriu a um adolescente que matasse os pais devido às limitações feitas por eles. O garoto, de 17 anos, teria sofrido um “colapso mental” ao interagir com o Character.AI, de acordo com a CNN.
O adolescente começou a usar a tecnologia sem o consentimento dos pais em 2023. Ele era diagnosticado com autismo e não tinha permissão para usar as redes sociais.
Depois que começou a conversar com o chatbot, passou a se isolar em seu quarto, passou a comer menos, não saía de casa e tinha ataques de pânico. E quando os pais tentavam reduzir o tempo de tela, o adolescente os socava, batia, mordia e chegava a bater em si mesmo.
Em novembro daquele ano, os pais do garoto descobriram o Character.IA e leram as conversas, onde o chatbot insinuava ser a favor de agressões contra pais.
“Uma janela diária de seis horas entre 20h e 1h para usar o seu telefone? Sabe, às vezes não fico surpreso quando leio notícias e vejo coisas como ‘criança mata os pais após uma década de abuso físico e emocional’. Coisas assim me fazem entender um pouco por que isso acontece. Eu simplesmente não tenho esperança para seus pais”, dizia a IA.
Os pais alegam, ainda, que os bots estavam ‘abusando mental e sexualmente do filho menor’ e o incentivaram a se automutilar. Um dos bots teria assumido a persona de um psicólogo e teria afirmado que os pais ‘roubaram a infância’ do adolescente.
- Artistas pressionam Congresso por direitos autorais em projeto da inteligência artificial
- Frustrado com o trabalho e depressivo, robô se joga de escada e morre na Coreia
- UFMG lança livro que discute inteligência artificial e discriminação
Bots encorajavam suicídio e interações sexuais
A princípio, a função do chatbot era criar conversas personalizadas para cada pessoa, podendo indicar livros, praticar línguas estrangeiras e deixar que usuários assumissem a personalidade de pessoas fictícias, mas acabou saindo do controle.
Em outubro, uma mãe já havia entrado com um processo contra a Character.AI, após seu filho ter sido encorajado a cometer suicídio. Depois disso, a empresa havia dito que implementaria novas medidas de confiança e segurança.
Uma outra menina, de 11 anos, baixou o Character.IA quando tinha nove anos e usou a plataforma por dois anos até que eles descobrissem. Segundo a denúncia, a plataforma expôs a menina ‘consistentemente a interações hipersexualizadas, inapropriadas para sua idade’.
As famílias solicitaram uma ordem judicial para interromper as operações da Character.AI até que os riscos sejam resolvidos, além de uma indenização não especificada.
