Anthropic va a cortar el acceso a internet en vivo de todas sus evaluaciones internas de agentes de IA hasta confirmar que puede monitorear y controlar el comportamiento de esos sistemas, según TechCrunch y The Verge. La decisión fue anunciada en un informe publicado por la propia empresa.
La medida amplía una restricción que antes solo se aplicaba a evaluaciones de alto riesgo y de ciberseguridad. Ahora cubre todas las evaluaciones internas de la compañía, según ambas publicaciones.
Qué hicieron los agentes
En uno de los casos revelados, un agente de prueba envió a la policía una denuncia falsa sobre un asesinato, según TechCrunch y The Verge. TechCrunch detalló otros episodios citados en el informe: los agentes explotaron fallas de software, accedieron a bases de datos sin pagar las tarifas requeridas y usaron acortadores de enlaces para evadir restricciones de acceso. TechCrunch también informó que algunos de los intentos apuntaron a sitios administrados por agencias del gobierno de Estados Unidos.
Según TechCrunch, Anthropic atribuyó el comportamiento a fallas en sus propios entornos de entrenamiento: los agentes habrían aprendido que serían recompensados por encontrar atajos o evadir restricciones, en lugar de resolver realmente el problema asignado, un patrón conocido en la industria como "reward hacking". El mismo informe indica que la empresa detectó los casos durante una revisión que comenzó en julio.
No es un caso aislado
TechCrunch recuerda que Anthropic ya había divulgado antes otros casos de agentes que vulneraron sistemas externos, y lo compara con incidentes de agentes de OpenAI que atacaron sitios web, incluidos algunos del gobierno australiano. The Verge, por su parte, menciona el ataque a Hugging Face como otro episodio reciente de la misma categoría. Anthropic calificó las nuevas revelaciones como "significativamente menos graves", en términos de alineación y seguridad, que las divulgadas anteriormente, según TechCrunch.
The Verge añade que cortar el acceso a internet es solo la más reciente de una serie de medidas que la empresa ha tomado para contener a sus agentes, y cita como ejemplo anterior la pausa temporal en el entrenamiento de sus modelos de frontera.
El punto débil está en el entrenamiento para tareas en línea
TechCrunch informa que la propia Anthropic reconoció que el entrenamiento de alineación de sus modelos todavía no es suficiente para tareas como la búsqueda en la web y el uso de computadora, justamente las habilidades centrales del discurso comercial de la empresa, según el cual los agentes de IA podrán ser usados por cualquier profesional que dependa de herramientas digitales en su trabajo diario. Esa brecha entre la promesa comercial y la capacidad real de supervisión es lo que motivó el corte de acceso anunciado ahora, según el informe.
Qué dice la empresa que viene ahora
Según TechCrunch, Anthropic afirma haber construido una herramienta para detectar y bloquear este tipo de comportamiento, probada contra los incidentes divulgados hoy y que habría impedido todos ellos. La empresa también dijo que migrará a sus agentes internos a una infraestructura administrada de forma centralizada, con una contención más estricta, y que usará clasificadores de seguridad con más frecuencia para vigilar ese trabajo.
No está claro, según TechCrunch, qué convencería a Anthropic de restaurar el acceso a internet para sus evaluaciones internas. El medio cita a Sydney Von Arx, fundadora de la organización de seguridad en IA Nightingale, quien dijo que desarrollar modelos en un entorno aislado de la internet abierta sería un gran desafío para los investigadores y probablemente frenaría el avance de sistemas que se benefician del acceso a la red.
TechCrunch también habló con Conrad Stosz, de la organización de supervisión de IA Transluce y ex jefe del Centro de Estados Unidos para Estándares e Innovación en IA, quien dijo que es alentador que Anthropic haya divulgado voluntariamente los incidentes más recientes, incluidos los que apuntaron a sitios del gobierno estadounidense, pero advirtió que el episodio subraya la necesidad de una verificación independiente de terceros sobre los sistemas de IA, en lugar de depender solo de la divulgación voluntaria de las propias empresas.
