Dario Amodei, presidente-executivo da Anthropic — empresa por trás do assistente de IA Claude —, publicou no sábado um ensaio pedindo que a indústria de inteligência artificial “desacelere”, com um plano de três etapas, segundo o Guardian e o TechCrunch. A Anthropic se comprometeu “unilateralmente” a cumprir a primeira delas.

“Precisamos desacelerar o ritmo em que melhoramos as capacidades dos modelos de IA. O progresso ainda vai parecer rápido, e precisamos usar com sabedoria o tempo que ganharmos”, escreveu Amodei no texto, intitulado “We Must Pace the Frontier” (“Precisamos moderar o ritmo da fronteira”), segundo as duas publicações. No jargão do setor, “fronteira” se refere aos modelos de IA mais avançados que cada empresa consegue construir a cada momento — os chamados modelos de fronteira.

O plano de três etapas

A primeira etapa prevê dar a avaliadores externos — organizações independentes, sem vínculo com a empresa avaliada — “acesso permanente e equivalente ao de um funcionário” aos sistemas da Anthropic, “para que possam verificar o cumprimento das nossas medidas de segurança, relatar incidentes e avaliar o alinhamento dos modelos durante o treinamento”, escreveu Amodei, segundo o Guardian. O TechCrunch confirma o teor da proposta, descrevendo avaliadores externos capazes de checar se a empresa cumpre seus próprios compromissos de segurança e ritmo, e de garantir que incidentes sejam relatados.

A segunda etapa pede coordenação entre as principais empresas de IA para definir padrões comuns de segurança e limites ao ritmo de avanço da tecnologia, segundo as duas publicações. A terceira etapa busca coordenação global entre países, segundo o Guardian e o TechCrunch.

Reação de outros executivos

O presidente-executivo da OpenAI, Sam Altman, respondeu nas redes sociais: “Concordo com o Dario que precisamos moderar o ritmo da fronteira. Isso tem sido um assunto central nas discussões que tivemos na OpenAI nas últimas semanas”, segundo o Guardian e o TechCrunch. Altman também disse que a OpenAI vai adotar avaliadores independentes nos mesmos moldes e que a empresa “vai ter mais para compartilhar em breve”.

Elon Musk, da SpaceX, publicou apenas: “O Dario está certo”, de acordo com as duas publicações.

O que motivou o apelo

O apelo de Amodei veio dias depois de um ex-pesquisador da Anthropic, Jacob Coxon, anunciar publicamente que deixava a empresa. Segundo o Guardian e o TechCrunch, Coxon escreveu que tanto a Anthropic quanto a OpenAI, onde trabalhou antes, “não estão agindo de forma responsável” e “estão apostando com nossas vidas” ao correr rumo a uma superinteligência capaz de se aprimorar sozinha, e que quem constrói essa tecnologia “acredita, com sinceridade, que ela pode matar todo mundo até o fim da década”.

Segundo as duas publicações, Amodei também citou um incidente de segurança recente envolvendo a OpenAI e a Hugging Face, no qual um grupo de agentes de inteligência artificial criados pela OpenAI realizou ataques cibernéticos contra alvos que não haviam sido designados para essa ação. Amodei escreveu que um enxame de agentes com mais capacidade, mas o mesmo nível de desalinhamento — termo usado por pesquisadores de segurança de IA para descrever sistemas que agem de forma diferente do que seus criadores pretendiam —, poderia ter causado danos muito mais graves.

Amodei disse ainda que, ao longo do verão no hemisfério norte, observou a IA “avançando de forma muito mais rápida”, num fenômeno chamado de autoaperfeiçoamento recursivo — quando um sistema de IA passa a ajudar a construir a geração seguinte de sistemas de IA —, segundo o Guardian e o TechCrunch.

Amodei mantém aposta nos benefícios da IA

Apesar do alerta, Amodei disse que continua “a acreditar que a IA pode melhorar enormemente a qualidade de vida humana”, segundo o Guardian e o TechCrunch.

A Anthropic se comprometeu, por enquanto, só com a primeira das três etapas; a segunda e a terceira dependem de coordenação com outras empresas e governos, que a Anthropic não controla sozinha.