Dario Amodei, consejero delegado de Anthropic —la empresa detrás del asistente de IA Claude—, publicó el sábado un ensayo en el que pide a la industria de la inteligencia artificial que “frene el ritmo”, con un plan de tres etapas, según el Guardian y TechCrunch. Anthropic dijo que se comprometía “unilateralmente” a cumplir la primera de ellas.
“Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos usar con sabiduría el tiempo que ganemos”, escribió Amodei en el ensayo, titulado “We Must Pace the Frontier” (“Debemos moderar el ritmo de la frontera”), según ambas publicaciones. En la jerga del sector, “frontera” se refiere a los modelos de IA más avanzados que cada empresa puede construir en cada momento, los llamados modelos de frontera.
El plan de tres etapas
La primera etapa daría a evaluadores externos —organizaciones independientes, sin vínculos con la empresa evaluada— “acceso permanente y equivalente al de un empleado” a los sistemas de Anthropic, “para que puedan verificar el cumplimiento de nuestras medidas de seguridad, informar incidentes y evaluar la alineación de los modelos durante el entrenamiento”, escribió Amodei, según el Guardian. TechCrunch confirma el contenido de la propuesta y describe evaluadores externos capaces de comprobar si la empresa cumple sus propios compromisos de ritmo y seguridad, y de asegurar que los incidentes se informen.
La segunda etapa pide que las principales empresas de IA coordinen estándares comunes de seguridad y límites al ritmo de avance de la tecnología, según ambas publicaciones. La tercera etapa busca coordinación global entre países, según el Guardian y TechCrunch.
La reacción de otros ejecutivos
El consejero delegado de OpenAI, Sam Altman, respondió en redes sociales: “Estoy de acuerdo con Dario en que necesitamos moderar el ritmo de la frontera. Este ha sido un tema central en las discusiones que hemos tenido en OpenAI en las últimas semanas”, según el Guardian y TechCrunch. Altman también dijo que OpenAI incorporará evaluadores independientes en la misma línea y que la empresa “tendrá más novedades pronto”.
El consejero delegado de SpaceX, Elon Musk, publicó solamente: “Dario tiene razón”, de acuerdo con ambas publicaciones.
Qué motivó el llamado
El llamado de Amodei llegó días después de que un exinvestigador de Anthropic, Jacob Coxon, anunciara públicamente que dejaba la empresa. Según el Guardian y TechCrunch, Coxon escribió que tanto Anthropic como OpenAI, donde trabajó antes, “no están actuando de forma responsable” y “están apostando con nuestras vidas” al correr hacia una superinteligencia capaz de mejorarse a sí misma, y que quienes construyen la tecnología “creen con sinceridad que podría matarnos a todos antes de que termine la década”.
Según ambas publicaciones, Amodei también citó un incidente de seguridad reciente entre OpenAI y Hugging Face, en el que un grupo de agentes de inteligencia artificial creados por OpenAI realizó ciberataques contra objetivos que no habían sido designados para esa acción. Amodei escribió que un enjambre con más capacidades pero el mismo nivel de desalineación —término que los investigadores de seguridad de IA usan para describir sistemas que actúan de forma distinta a la prevista por sus creadores— podría haber causado daños mucho más graves.
Amodei dijo además que, durante el verano del hemisferio norte, vio a la IA “avanzar de forma mucho más rápida”, una dinámica conocida como autoperfeccionamiento recursivo —en la que un sistema de IA ayuda a construir la siguiente generación de sistemas de IA—, según el Guardian y TechCrunch.
Amodei sigue apostando por los beneficios de la IA
Pese a la advertencia, Amodei dijo que sigue “creyendo que la IA puede mejorar enormemente la calidad de vida humana”, según el Guardian y TechCrunch.
Anthropic se ha comprometido, por ahora, solo con la primera de las tres etapas; la segunda y la tercera dependen de una coordinación con otras empresas y gobiernos que Anthropic no controla por sí sola.
