ChatGPT testa sistema para detectar extremismo e conectar usuários a ajuda especializada

Usuários do ChatGPT que apresentarem sinais de comportamento associado ao extremismo violento poderão, no futuro, ser direcionados a serviços de apoio especializados. A iniciativa faz parte de um projeto em fase de testes desenvolvido na Nova Zelândia e voltado à prevenção de situações de risco.

A proposta é unir inteligência artificial com atendimento humano para identificar indícios de crise e oferecer ajuda adequada. O sistema está sendo criado pela startup ThroughLine, que já presta serviços para empresas como OpenAI, Anthropic e Google.

A tecnologia atua detectando sinais de vulnerabilidade, como automutilação, violência doméstica e transtornos alimentares. A partir disso, o usuário pode ser encaminhado para atendimento local com profissionais capacitados. Agora, a empresa também avalia ampliar esse alcance para lidar com casos de extremismo online.

Mais segurança nas IAs

O projeto surge em meio ao aumento das preocupações globais sobre segurança em plataformas de inteligência artificial. Nos últimos anos, empresas do setor passaram a enfrentar processos judiciais que questionam a falta de controle sobre conteúdos perigosos e até possíveis incentivos indiretos à violência.

Em fevereiro, a OpenAI chegou a ser pressionada pelo governo do Canadá após um caso envolvendo um ataque em escola. O autor teria sido banido da plataforma, mas sem notificação às autoridades.

A empresa confirmou a parceria com a ThroughLine, mas não detalhou como o sistema será implementado.

Como funciona o sistema

Segundo o fundador da ThroughLine, Elliot Taylor, que tem experiência como assistente social, o modelo combina chatbots especializados com uma rede global de apoio. Atualmente, a empresa já conecta usuários a cerca de 1.600 serviços em 180 países.

Quando a inteligência artificial identifica sinais de crise, o usuário é direcionado para a plataforma, que faz a ponte com atendimento humano na região da pessoa.

A nova ferramenta voltada ao extremismo seguirá um modelo semelhante. Um chatbot treinado deve interagir com o usuário e, se necessário, encaminhá-lo para suporte psicológico ou serviços presenciais.

Taylor destaca que o sistema não utiliza bases genéricas de linguagem, mas sim conteúdo desenvolvido com especialistas da área.

Colaboração

A startup também negocia colaboração com o The Christchurch Call, iniciativa internacional criada após o ataque terrorista de 2019 na Nova Zelândia. A ideia é usar a experiência do grupo para orientar o desenvolvimento da ferramenta.

Ainda não há prazo definido para lançamento.

Especialistas avaliam a proposta como um avanço. Para o pesquisador Henry Fraser, da Universidade de Tecnologia de Queensland, a iniciativa reconhece que o problema vai além do conteúdo publicado e envolve o comportamento e o contexto emocional das pessoas.

Desafios e riscos

Apesar do potencial, o sucesso do sistema dependerá da qualidade do suporte oferecido após a identificação dos casos. Outro ponto em discussão é como lidar com situações mais graves, incluindo a possibilidade de alertar autoridades.

Taylor afirma que essas decisões ainda estão sendo definidas com cautela, já que intervenções mal conduzidas podem agravar o comportamento de risco.

Ele também alerta para um efeito colateral já observado: o endurecimento das regras em grandes plataformas tem levado usuários a migrar para ambientes menos regulados, como o Telegram.

Para o fundador, o maior desafio é garantir que pessoas em sofrimento não sejam simplesmente silenciadas. "Se alguém revela uma crise para uma inteligência artificial e a conversa é encerrada, essa pessoa pode continuar sem qualquer apoio", afirma.