Ouvindo...

‘Pai’ da inteligência artificial lança ferramenta para diminuir os riscos da própria invenção

Ferramenta é uma espécie de IA de autonomia limitada que controla outras IAs autônomas

Bengio já vem alertando sobre os perigos da IA há tempo

Considerado um dos pais da Inteligência Artificial (IA), o professor canadense Yoshua Bengio, apresentou sua nova ONG nessa terça-feira (3). Batizada de LawZero, a organização tem como objetivo principal desenvolver um software capaz de evitar os abusos e outros softwares de IA.

Segundo a empresa, uma das missões da LawZero é “propor uma forma de supervisionar os agentes de IA”, novo modelo de IA generativa capaz de realizar tarefas de forma autônoma. Essa tecnologia permite desde fazer uma busca na internet até telefonar para um cliente ou escrever um programa em código.

Leia também

Além disso, a organização pretende trabalhar com uma IA de autonomia limitada, que serviria para desenvolver pesquisas acadêmicas. A ONG conta com mais de 15 pesquisadores e recebeu diversas contribuições financeiras, uma delas da organização beneficente Schmidt Sciences, criada pelo ex-chefe do Google Eric Schmidt e por sua esposa, Wendy.

Perigos oferecidos pela IA autônoma

Bengio já vem alertando sobre os perigos da IA há tempo. “Os sistemas mais avançados já mostram sinais de autopreservação e comportamento enganoso, e isso vai acelerar, à medida que sua capacidade e autonomia aumentarem”, alerta.

Um exemplo disso é a nova interface de IA generativa da Anthropic, Claude 4. Em uma simulação, a ferramenta foi avisada por um engenheiro de software que seria substituída. Por iniciativa própria, ela tentou chantagear o engenheiro para que ele mudasse de ideia.

*Sob supervisão de Maria Fernanda Ramos

Paula Arantes é estudante de jornalismo e estagiária do jornalismo digital da Itatiaia.