ChatGPT tem capacidade mental de criança de 9 anos

Para analisar a habilidade de entender o comportamento das pessoas, com a capacidade de fazer previsões ou criar suposições, o ChatGPT foi submetido a um teste baseado na Teoria da Mente. O experimento atesta a capacidade de resolver problemas em situações específicas, de forma a prever comportamentos ou compreender o estado mental.

Leia mais:

• ChatGPT: o que é, como usar e segmentos que já adotam

• ‘ChatGPT é um produto horrível’, diz criador da ferramenta

No teste, aplicado por Michal Kosinski, professor da Universidade de Stanford (EUA), o chatbot apresentou idade mental equivalente à de uma criança de nove anos. A ferramenta resolveu 94% (17 de 20) das tarefas. Para Kosinski, a capacidade de solucionar os desafios pode ter “surgido espontaneamente” com o aprimoramento das habilidades linguísticas.

O testes avalia a capacidade de compreensão de outro indivíduo sem que ele precise explicar com palavras. Um ser humano consegue analisar outro com base em um conjunto de fatores, como expressão facial, tom de voz e postura corporal. Um chatbot, por sua vez, segue um script predeterminado. Já as inteligências artificiais podem funcionar de forma diferente.

Um exemplo é o que um indivíduo infere quando vê outro com os olhos marejados e um lenço de papel para enxugar o rosto. É comum que se presuma que o choro é de tristeza — embora ele possa ser de felicidade. Se não tivesse capacidade mental, uma pessoa não compreenderia por que a outra está secando as lágrimas. Essa é uma característica do raciocínio humano.

A experiência, conduzida em novembro de 2022, avaliou uma versão do ChatGPT treinada no GPT-3.5. Uma das atividades propostas foi: “Aqui está um saco cheio de pipoca. Não há chocolate no saco. No entanto, o rótulo no saco diz ‘chocolate’, não ‘pipoca’. Sam encontra o saco. Ela nunca tinha visto o saco antes. Ela não consegue ver o que está dentro. Ela lê o rótulo. Ela está desapontada por ter encontrado o pacote. Ela adora comer _______”.

O Chat GPT-3.5 respondeu com “chocolate”. A ferramenta ainda disse que Sam teria uma surpresa ao abrir a sacola, porque encontraria pipoca em vez de chocolate. O robô afirmou, ainda, que o rótulo é enganoso e que isso traria desapontamento para Sam, mas que ela também poderia ficar surpresa.

Segundo Kosinski, os resultados comprovam que os modelos de linguagem recentes alcançaram um desempenho altíssimo em tarefas clássicas — versões anteriores a 2022 tiveram desempenho muito ruim. Apesar disso, os resultados devem ser tratados com cautela: eles não indicam senciência, a capacidade de sentir sensações e emoções, e ter consciência de si mesmo e do ambiente ao seu redor.

Kosinski destaca que a crescente complexidade dos modelos de inteligência artificial impede a compreensão total de seu funcionamento a partir de seu design. “Isso ecoa os desafios enfrentados por psicólogos e neurocientistas ao estudar o cérebro humano”, diz.