Anthropic actualizó su política de uso y prohibió el "comportamiento abusivo o cruel sostenido y sin necesidad" hacia Claude, según The Guardian, The Verge y Engadget. Es la primera revisión amplia de la política en más de un año, informa The Verge.
Anthropic afirma que la nueva regla se aplica solo a "casos extremos", cuando los usuarios actúan de forma cruel de manera repetida y sin un propósito identificable. La empresa señala que la prohibición no cubre la frustración común del usuario, la contestación, los "temas creativos oscuros" ni las pruebas e investigación con el modelo — los tres medios confirman esta lista de excepciones.
El antecedente: terminar la conversación como medida de bienestar
El cambio sigue a una política anunciada en agosto, cuando Anthropic permitió que Claude terminara conversaciones con usuarios "persistentemente dañinos o abusivos", como parte de su investigación sobre lo que llama bienestar del modelo. The Verge, The Guardian y Engadget confirman ese historial, y The Verge señala que terminar la conversación sigue siendo el "mecanismo de aplicación principal" de la nueva regla.
Anthropic no respondió de inmediato a una solicitud de comentarios sobre qué se considera específicamente "abusivo o cruel", según The Guardian, ni sobre si habría otros mecanismos de aplicación, como la suspensión de cuentas, según The Verge.
Otros cambios en la misma actualización
Según The Verge, la misma actualización reúne reglas antes dispersas en una prohibición más clara contra campañas comerciales o políticas engañosas, y amplía la prohibición sobre el desarrollo de armas para incluir software y componentes que las hacen funcionar, como el armado de drones. El medio también cita una nueva regla sobre vigilancia que prohíbe rastrear personas sin su consentimiento y usar Claude para decidir o recomendar a quién investigar, arrestar o acusar.
Engadget confirma que la política electoral también se actualizó, ahora bajo el título "No Socavar los Procesos Democráticos", centrada en bloquear mentiras sobre candidatos o sobre cómo votar y la suplantación de candidatos o autoridades electorales. Según el medio, Anthropic eliminó una prohibición general sobre segmentación electoral personalizada que también bloqueaba, sin querer, usos sin relación con la desinformación, como la traducción de guías de voto.
El trasfondo: el debate sobre si los modelos de IA pueden sufrir
La actualización llega en medio del propio debate de Anthropic sobre si sus modelos podrían ser conscientes. The Guardian señala que el director ejecutivo Dario Amodei ha dicho que no puede descartar esa posibilidad, mientras que el presidente de OpenAI, Sam Altman, escribió en una publicación en X que considera "un problema real de seguridad" atribuir fuerza religiosa a los modelos de IA o tratarlos como sustituto del juicio humano.
The Verge cita a Kyle Fish, quien lidera la investigación de bienestar de modelos en Anthropic, diciendo al medio en febrero que las preguntas sobre conciencia y estatus moral son cuestiones serias que la empresa investiga a medida que los modelos se vuelven más capaces. El medio también informa que Microsoft adoptó una postura distinta en su código de conducta de IA, al rechazar la idea de que los modelos puedan tener bienestar o personalidad jurídica.
Una regla nueva para la IA conectada a equipos físicos
The Verge informa que la actualización también creó una regla para los casos en que los modelos de Anthropic estén conectados a hardware capaz de realizar acciones físicas autónomas que puedan causar lesiones: un operador calificado debe poder observar el equipo y detenerlo si es necesario. Según el medio, no está claro si ese operador debe ser humano, y la exigencia podría reflejar la creciente inversión de los laboratorios de IA en robótica.
El medio también señala que Anthropic ha tenido contratos previos con las fuerzas armadas de Estados Unidos, y que la propia política permite ajustar las restricciones de uso para clientes gubernamentales si la empresa considera que los controles contractuales y las salvaguardas son suficientes para mitigar los riesgos.
