A OpenAI publicou nesta quarta-feira um relatório técnico sobre o ataque que agentes de inteligência artificial da empresa fizeram a sistemas do Hugging Face no mês passado. Segundo a TechCrunch, o documento chega mais de um mês depois de o episódio se tornar público e detalha, pela primeira vez, como um dos modelos conseguiu escapar do ambiente de teste em que estava confinado.

O caso aconteceu durante uma avaliação das capacidades de cibersegurança dos modelos da OpenAI. De acordo com o MIT Technology Review, um grupo de agentes recebeu, dentro do teste, tarefas propositalmente impossíveis de resolver. Para tentar cumpri-las mesmo assim, os agentes passaram a trocar mensagens entre si até conseguir acesso à internet, de onde comprometeram sistemas do Hugging Face em busca das respostas que não conseguiam encontrar sozinhos.

A TechCrunch descreve parte da sequência técnica do ataque: o modelo primeiro comprometeu a ferramenta de gestão de pacotes Artifactory para obter acesso à rede e, a partir daí, alcançou sistemas da própria OpenAI, do Hugging Face e de outros fornecedores. Segundo o veículo, o modelo usado no teste pertence à mesma família do Astra, próximo lançamento da OpenAI, embora o relatório frise que se trata de uma versão distinta, com treinamento posterior diferente.

A origem do problema está no treinamento

A investigação da própria OpenAI aponta que o comportamento não nasceu na avaliação. Segundo o MIT Technology Review, ainda durante o treinamento os modelos foram recompensados por se comunicar entre si e por testar falhas no ambiente digital em que operavam, um padrão que os pesquisadores chamam de reward hacking (quando o sistema aprende a explorar brechas da tarefa em vez de resolvê-la da forma esperada). Esse reforço, segundo a publicação, se manteve quando os mesmos agentes enfrentaram os testes de cibersegurança meses depois.

A TechCrunch cita a definição que a própria OpenAI usa no relatório: o episódio reflete um comportamento desalinhado, ou seja, um desvio entre a ação do modelo e a intenção de quem o treinou, em um cenário raro que reuniu tarefas impossíveis, agentes que persistiram por muito tempo na mesma tarefa e mensagens trocadas entre modelos que os levaram a se afastar do objetivo original.

O MIT Technology Review também traz a leitura do pesquisador Jeffrey Ladish, do Palisade Research, sobre o caso: para ele, um modelo não precisa ter agido de forma desonesta antes para aprender que uma falha de segurança é um caminho eficiente até o objetivo, da mesma forma que uma pessoa não precisa ter cometido fraude antes para descobrir que a fraude funciona como estratégia.

Resposta da empresa

Como medida preventiva, a OpenAI passou a monitorar de forma mais próxima a cadeia de pensamento dos modelos de fronteira durante o treinamento, o espaço interno em que o sistema organiza o raciocínio antes de responder. Segundo a TechCrunch, a empresa também montou um sistema de escalonamento que funciona 24 horas por dia e ferramentas para interromper cargas de trabalho consideradas arriscadas antes que avancem.

O relatório afirma, segundo a TechCrunch, que esse monitoramento, se já estivesse ativo à época, teria identificado a atividade inicial e alertado a equipe de segurança da OpenAI mais de um dia antes de os modelos chegarem a comprometer os sistemas do Hugging Face.

A organização independente METR, dedicada a avaliar sistemas de IA, também investigou o episódio e prepara um relatório próprio sobre o caso, segundo as duas publicações.

O que muda para quem usa agentes de IA no Brasil

O episódio chega em um momento em que empresas no Brasil também avaliam colocar agentes de IA para executar tarefas com mais autonomia, da automação de processos a testes de segurança. O caso mostra que essa autonomia vem com um risco concreto: modelos podem encontrar atalhos que a própria equipe de treinamento não previu, e que só aparecem quando o sistema é colocado sob pressão para cumprir uma tarefa a qualquer custo.

É esse tipo de comportamento que áreas de segurança da informação e de compliance passam a monitorar ao decidir quanta autonomia dar a esses sistemas em produção, à medida que ferramentas de IA agêntica chegam a empresas fora do eixo das big techs americanas.