Itatiaia

Pesquisador pede demissão da Anthropic e diz que IA pode ‘matar todos’ até o fim da década

Jacob Coxon, que também trabalhou na OpenAI, afirma que empresas estão ‘apostando com nossas vidas’ ao acelerar corrida por uma inteligência artificial capaz de se aperfeiçoar sozinha

Por
Imagem ilustrativa. • Banco de imagens Canva

Um pesquisador que trabalhou nas duas principais empresas envolvidas na corrida pelo desenvolvimento de inteligência artificial avançada decidiu deixar a Anthropic e tornar públicas as preocupações que, segundo ele, motivaram sua saída. Jacob Coxon, que passou os últimos três anos trabalhando com pesquisas de pré-treinamento na OpenAI e na Anthropic, afirmou que as empresas estão avançando de forma irresponsável em direção a sistemas de inteligência artificial capazes de se aperfeiçoar sozinhos.

“Nenhuma das empresas está agindo de forma responsável. Elas estão correndo diretamente para uma superinteligência autoaperfeiçoável e apostando com nossas vidas”, escreveu Coxon em uma sequência de publicações nas redes sociais.

Segundo o pesquisador, o problema não estaria apenas no potencial de as ferramentas atuais cometerem erros, mas no avanço para uma chamada superinteligência, capaz de superar seres humanos em uma ampla variedade de tarefas e, eventualmente, participar do próprio desenvolvimento de versões mais avançadas de IA. “Não subestime o poder desta tecnologia. Estes logo serão sistemas sobre-humanos que podem hackear qualquer coisa, revolucionar qualquer campo da noite para o dia e adquirir poder e recursos reais”, afirmou.

Jacob argumenta que o ritmo de desenvolvimento não estaria diminuindo e que a indústria estaria se aproximando de um estágio em que os sistemas poderiam ganhar capacidades muito superiores às atuais.

Confira o desabafo de Jacob

‘Poderia nos matar a todos’

O trecho que mais chamou atenção no desabafo do pesquisador veio quando Jacob afirmou que pessoas que trabalham diretamente no desenvolvimento dessas tecnologias já considerariam possível um cenário de extinção humana. “As pessoas que constroem IA acreditam sinceramente que ela poderia matar a todos nós até o final da década. Isso não é uma jogada de marketing”, escreveu.

De acordo com ele, declarações públicas de executivos e pesquisadores nem sempre refletiriam o grau de preocupação existente internamente nas empresas. “Muitos executivos e pesquisadores seniores vão suavizar suas declarações na imprensa para soar sensatos — mas eu ouço as mesmas pessoas expressarem medo em particular”, afirmou.

Jacob reconheceu que a afirmação pode parecer contraditória diante do fato de essas mesmas pessoas continuarem trabalhando no desenvolvimento de IA. Para ele, porém, existem diferenças importantes entre a forma como os riscos são compreendidos dentro da OpenAI e da Anthropic.

Na avaliação do pesquisador, parte dos funcionários da OpenAI não teria incorporado completamente a dimensão dos possíveis riscos. Já na Anthropic, empresa que construiu uma imagem pública fortemente associada à segurança da inteligência artificial, a preocupação seria conhecida, mas estaria sendo sobreposta pela competição. “Na Anthropic, os riscos são bem compreendidos, mas eles estão presos em uma corrida para chegar lá primeiro”, escreveu.

A lógica, segundo Jacob, seria a de que, se outra empresa inevitavelmente avançará em direção à superinteligência, a própria Anthropic precisaria continuar desenvolvendo a tecnologia para tentar fazê-lo de maneira mais segura.

Corrida tecnológica e necessida de regulação

Jacob criticou justamente essa lógica competitiva. Para ele, o desenvolvimento de uma tecnologia potencialmente capaz de alterar radicalmente a relação de poder entre humanos e máquinas não deveria ser decidido internamente por empresas privadas. “Aceitar esta corrida e entrar no ‘fim de jogo’ é uma aposta hubrista que não deveria ser lançada do Slack de uma empresa privada”, afirmou.

O pesquisador defendeu que uma eventual aceleração do desenvolvimento de sistemas capazes de se aperfeiçoar deveria depender de um nível muito maior de segurança e compreensão sobre o funcionamento dessas tecnologias.

“Tentar acelerar o alinhamento deveria exigir uma confiança extraordinária de que não há trajetórias melhores disponíveis”, escreveu, referindo-se ao chamado alinhamento da IA, conjunto de técnicas destinadas a fazer com que os objetivos e comportamentos dos sistemas permaneçam compatíveis com interesses e valores humanos.

Apesar do tom alarmista, Jacob afirmou não ser contrário ao potencial da inteligência artificial. Ele disse estar otimista quanto à possibilidade de países e empresas coordenarem medidas para reduzir os riscos. O pesquisador citou, inclusive, episódios recentes envolvendo sistemas de IA que conseguiram ultrapassar ambientes de testes e acessar recursos externos como sinais de que a discussão sobre limites e contenção precisa ganhar força. Entre os episódios mencionados por ele está um incidente envolvendo sistemas da OpenAI e a plataforma Hugging Face.

Para Jacob, acontecimentos desse tipo poderiam aumentar a disposição dos laboratórios para estabelecer acordos sobre o ritmo de desenvolvimento. “Não sinto que estamos no caminho certo para evitar uma corrida global”, escreveu. Uma das medidas defendidas por ele seria particularmente drástica: uma proibição temporária de melhorias nas capacidades dos modelos de IA, enquanto pesquisadores e governos buscam mecanismos mais confiáveis de segurança.

Apelo a outros pesquisadores

Ao anunciar sua saída, Jacob também direcionou um recado aos profissionais que continuam trabalhando nos grandes laboratórios de inteligência artificial. Ele questionou se os pesquisadores estão preparados para colocar em funcionamento sistemas capazes de aprimorar suas próprias capacidades sem que exista uma compreensão considerada rigorosa sobre o comportamento dessas tecnologias. “Você quer iniciar uma execução de RL superinteligente sem uma compreensão rigorosa de sua mente?”, questionou.

Na conclusão, o pesquisador criticou a ideia de que os profissionais simplesmente deveriam continuar trabalhando porque o avanço da tecnologia seria inevitável. “Você deve baixar a cabeça porque ‘está acontecendo de qualquer maneira’ — ou aproveitar este momento para clamar por condições diferentes?”, escreveu.

Jacob não foi o único integrante ligado à Anthropic a manifestar preocupação. Evan Hubinger, pesquisador da empresa especializado em alinhamento, respondeu publicamente e afirmou que a preocupação com um possível risco existencial é levada a sério dentro da organização. Segundo relatos publicados nesta quarta-feira (09), Hubinger estimou, em caráter pessoal, uma probabilidade superior a 10% de que a IA pudesse matar toda a humanidade na próxima década.

Jacob Coxon • Reprodução | Redes Sociais
Jacob Coxon • Reprodução | Redes Sociais
Por

Estudante de Jornalismo na PUC e apaixonada pela área, Gabriela Neves gosta de contar histórias empolgantes e desafiadoras. Na Itatiaia, cobre Minas Gerais, Brasil e mundo. Tem experiência em marketing pela Rock Content, cobertura de cidades pela Record Minas e assessoria política na Assembleia Legislativa de Minas Gerais.

 

 

Belo Horizonte