David Robinson, que liderava a redação dos relatórios de segurança publicados junto aos lançamentos de produtos da OpenAI, se demitiu da empresa e afirmou que sua cultura interna está quebrada, segundo o Guardian e o TechCrunch.
Robinson anunciou a saída em um ensaio publicado na revista The Atlantic, intitulado "I quit OpenAI because its culture is broken" ("Eu deixei a OpenAI porque sua cultura está quebrada"). Segundo o TechCrunch, ele trabalhou cerca de três anos e meio na empresa, o que o tornava um dos funcionários mais antigos.
No texto, Robinson escreve que as empresas que constroem IA "não estão sendo nem perto de cuidadosas o suficiente" e defende que o problema vai além de regras específicas ou novas leis: é uma questão de cultura, segundo as duas publicações.
O exemplo citado por Robinson
Robinson cita o episódio em que um grupo de agentes autônomos da OpenAI invadiu sistemas da plataforma Hugging Face, chamando o caso de "típico da indústria, dada a velocidade e flexibilidade com que as pessoas operam", segundo o Guardian. O TechCrunch também menciona esse episódio, somado às revelações contínuas da OpenAI sobre a descoberta de agentes considerados "desalinhados" em sistemas próprios.
"Um ambiente onde coisas assim podem acontecer não é lugar para fazer crescer mentes artificiais que podem ser mais inteligentes do que nós e que podem não fazer o que queremos", escreveu Robinson, segundo o TechCrunch.
A comparação com usinas nucleares
Robinson defende que laboratórios de ponta precisam operar "como usinas nucleares ou aeroportos movimentados, com camadas de redundância e planejamento cuidadoso e demorado, para que o erro humano ocasional e inevitável não abra uma porta para o desastre" — trecho citado de forma praticamente idêntica pelo Guardian e pelo TechCrunch. Segundo o TechCrunch, ele afirmou nunca ter tido, entre seus colegas na OpenAI, alguém com experiência em manter aviões voando com segurança ou reatores nucleares funcionando sem derreter.
Ele propõe duas mudanças: que as empresas de IA recorram à experiência de outras indústrias de alto risco, como a nuclear e a aviação, e que desenvolvam o que chama de "nova ciência" capaz de garantir que sistemas poderosos continuem sob controle humano mesmo operando de forma autônoma, segundo as duas publicações.
Parte de uma sequência de alertas
A saída de Robinson segue a de Jacob Coxon, que deixou a Anthropic no mês anterior dizendo acreditar que a IA "poderia matar todos nós até o fim da década", citado tanto pelo Guardian quanto pelo TechCrunch. O Guardian cita ainda Geoffrey Irving, ex-OpenAI e hoje na empresa de pesquisa em segurança Resolution, que escreveu na revista Time ver cerca de 50% de chance de a humanidade não sobreviver ao desenvolvimento de sistemas de IA mais capazes que humanos.
Segundo o Guardian, a OpenAI vem dando sinais de cautela nas últimas semanas: além do episódio no Hugging Face, a empresa notificou mais de 100 organizações sobre atividade de agentes considerados fora de controle, anunciou que abandonou o lançamento de um modelo de próxima geração depois que pesquisadores levantaram preocupações de segurança em testes internos, e pausou o treinamento de seus modelos mais avançados.
Segundo o TechCrunch, o porta-voz da OpenAI Drew Pusateri disse que a empresa segue fortalecendo suas práticas de segurança, "garantindo que nossos modelos não se tornem mais capazes do que conseguimos gerenciar e proteger com segurança", e que pausa treinamentos ou retém modelos quando necessário. Pusateri acrescentou que a OpenAI está "fazendo mudanças significativas para reforçar a segurança em nossos ambientes de pesquisa e teste, treinando modelos para não apenas completar tarefas, mas fazê-lo de forma responsável, e ampliando o monitoramento em tempo real". O Guardian registrou uma versão mais curta da mesma declaração, atribuída a um porta-voz da OpenAI.
O TechCrunch relata ainda que a saída de Robinson foi noticiada primeiro pelo Business Insider, e que o próprio Robinson reconheceu ter contratado uma assessoria de imprensa antes de publicar o ensaio, chamando isso de passo comum entre funcionários que deixam empresas de IA nessas condições. "A decisão de falar é só minha", disse ele, segundo o TechCrunch.
