A Anthropic atualizou sua política de uso e passou a proibir "comportamento abusivo ou cruel sustentado e sem necessidade" contra o Claude, segundo o The Guardian, o The Verge e o Engadget. É a primeira revisão ampla da política em mais de um ano, de acordo com o The Verge.

A própria Anthropic descreve a nova regra como aplicável só a "casos extremos", quando usuários agem repetidamente de forma cruel com os modelos sem propósito identificável. A empresa afirma que a proibição não vale para frustração comum do usuário, contestação, "temas criativos sombrios" ou testes e pesquisa com o modelo — os três veículos confirmam essa lista de exceções.

Antecedente: encerrar a conversa como medida de bem-estar do modelo

A mudança dá sequência a uma política anunciada em agosto, quando a Anthropic passou a permitir que o Claude encerre conversas com usuários "persistentemente prejudiciais ou abusivos", como parte de sua pesquisa sobre o que chama de bem-estar do modelo. O The Verge, o The Guardian e o Engadget confirmam esse histórico, e o The Verge aponta que encerrar a conversa continua sendo o principal mecanismo de aplicação da nova regra.

A Anthropic não respondeu a pedidos de comentário sobre o que especificamente seria considerado "abusivo ou cruel", segundo o The Guardian, nem sobre se haveria outros mecanismos de aplicação, como suspensão de contas, segundo o The Verge.

Outras mudanças na mesma atualização

Segundo o The Verge, a mesma atualização reúne regras antes espalhadas pela política em uma proibição mais clara contra campanhas comerciais ou políticas enganosas, e amplia a proibição de uso do Claude no desenvolvimento de armas para incluir software e componentes que as tornam operacionais, como o armamento de drones. A publicação também cita um novo item sobre vigilância, que proíbe rastrear pessoas sem consentimento e usar o Claude para decidir ou recomendar quem investigar, prender ou indiciar.

O Engadget confirma que a política eleitoral também foi atualizada, agora sob o título "Não Comprometer Processos Democráticos", com foco em impedir mentiras sobre candidatos ou sobre como votar e a suposição de identidade de candidatos ou autoridades eleitorais. Segundo a publicação, a Anthropic removeu uma proibição geral de segmentação eleitoral personalizada, que na prática também bloqueava usos sem relação com desinformação, como tradução de guias de voto.

O debate sobre se modelos de IA podem sofrer

A atualização ocorre em meio a um debate da Anthropic sobre a possível consciência de seus modelos. O The Guardian lembra que o executivo-chefe Dario Amodei já disse não poder descartar essa possibilidade, enquanto o presidente da OpenAI, Sam Altman, escreveu em uma publicação na rede social X que considera "um problema real de segurança" atribuir força religiosa ou abdicar do julgamento humano para modelos de IA.

O The Verge cita Kyle Fish, que lidera a pesquisa de bem-estar de modelos na Anthropic, dizendo à publicação em fevereiro que perguntas sobre consciência e status moral dos modelos são questões sérias sendo investigadas à medida que eles se tornam mais sofisticados. A publicação também relata que a Microsoft adotou posição diferente em seu código de conduta de IA, rejeitando a ideia de que modelos possam ter bem-estar ou personalidade jurídica.

Regra nova para IA conectada a equipamentos físicos

O The Verge relata que a atualização também criou uma regra para quando modelos da Anthropic estiverem conectados a hardware capaz de executar ações físicas autônomas com risco de causar lesões: nesses casos, um operador qualificado precisa conseguir observar o equipamento e interrompê-lo se necessário. Segundo a publicação, não ficou claro se esse operador precisa ser humano, e a exigência pode refletir o crescente investimento de laboratórios de IA em robótica.

A publicação também lembra que a Anthropic já teve contratos com as forças armadas dos Estados Unidos e que a própria política prevê que as restrições de uso podem ser ajustadas para clientes governamentais, caso a empresa julgue que os controles contratuais e as salvaguardas aplicadas sejam suficientes para mitigar os riscos.