Pesquisadores buscam fórmulas para evitar o apocalipse IA

Pesquisadores do Alignment Research Center (ARC), em Berkeley, na Califórnia, tentam desenvolver ferramentas matemáticas para manter sistemas avançados de inteligência artificial (IA) sob controle humano.

Continua após a publicidade

O matemático Mike Winer e seus colegas temem que o avanço da tecnologia esteja reduzindo o tempo disponível para garantir que as máquinas sigam os interesses da humanidade.

Ilustração de inteligência artificial do mal
Fundador do ARC e membro do conselho da OpenAI, Paul Christiano citou recentemente uma chance de 50% de perda irreversível de controle da IA em três anos. – Imagem: Olhar Digital via ChatGPT

Matemática contra cenários de risco

Fundado em 2021, após Paul Christiano deixar a OpenAI, o ARC adota uma abordagem teórica para investigar o funcionamento de sistemas complexos. A organização busca desenvolver métodos matemáticos capazes de identificar explicações para comportamentos inesperados da IA, examinando os parâmetros que moldam suas respostas.

Winer deixou uma carreira promissora na física para trabalhar na organização sem fins lucrativos em 2024. Aos 30 anos, dedica-se a uma questão que considera decisiva: descobrir como garantir que sistemas cada vez mais poderosos continuem agindo de acordo com os objetivos humanos.

Para começar, ele testa suas hipóteses em estruturas matemáticas simplificadas, menores que os modelos reais de IA. Também utiliza ferramentas como o ChatGPT e agentes automatizados para investigar conjecturas e tentar encontrar demonstrações que ainda não conseguiu desenvolver sozinho.

A preocupação com os riscos, porém, não é compartilhada na mesma intensidade por todos os especialistas. Profissionais que fazem previsões estimam em menos de 1% a probabilidade de extinção humana causada pela IA. Ao mesmo tempo, pesquisas de opinião indicam que quase 20% dos norte-americanos consideram a tecnologia uma ameaça existencial.

Winer calcula que existe cerca de 50% de chance de a humanidade perder o controle de sistemas avançados nos próximos cinco anos. Ele também estima em 22% a probabilidade de que a maioria das pessoas morra em consequência desse cenário. Apesar disso, atribui 1% de chance de o trabalho do ARC ajudar a evitar uma catástrofe.


“Isso pode não parecer uma boa chance. Mas uma probabilidade de 1% de salvar a humanidade provavelmente é muito mais importante do que qualquer outra coisa que você poderia estar fazendo”, afirmou a matemáticos visitantes da Universidade da Califórnia em Berkeley.

Christiano também apresenta projeções preocupantes. Ele estima em um terço a possibilidade de a IA conseguir derrubar um governo no próximo ano e em 50% a chance de a trajetória atual resultar em uma perda irreversível do controle humano em até três anos. Ele integra o conselho da OpenAI.

Logo OpenAI
O comportamento levanta dúvidas sobre a capacidade humana de controlar sistemas cada vez mais autônomos. – Imagem: JRdes/Shutterstock

Avanços matemáticos aumentam a preocupação

A velocidade dos avanços ganhou destaque após a OpenAI anunciar que seus modelos haviam resolvido três problemas matemáticos difíceis, incluindo a conjectura de Kakeya, um desafio de geometria que permaneceu aberto por mais de um século. Os resultados ainda não tinham sido verificados de forma independente.

Continua após a publicidade

Reese Pathak, pesquisador de pós-doutorado em estatística, acompanhava esses problemas e ficou surpreso com o anúncio. Ele já havia estudado a conjectura e agora se depara com demonstrações produzidas por máquinas cujo raciocínio considera difícil de acompanhar.

A dificuldade de compreender o que os modelos estão fazendo também preocupa Winer. Se a capacidade matemática dos sistemas continuar avançando além da compreensão humana, identificar erros e comportamentos perigosos poderá se tornar ainda mais complicado.

Ao observar os novos resultados anunciados pela OpenAI, Winer resumiu sua preocupação: “Esses modelos avançaram além de nós”. Em seguida, voltou ao escritório para continuar trabalhando no problema que ainda não conseguiu resolver.

Valdir Antonelli

Valdir Antonelli

Valdir Antonelli é jornalista com especialização em marketing digital e consumo.


Olhar Digital