Nvidia lanzó cuatro nuevos checkpoints de peso abierto para su familia de modelos Cosmos 3, pensados para simular escenas de robótica y de conducción autónoma con múltiples cámaras y sensores, según una publicación de la propia empresa en Hugging Face.

Los cuatro modelos son versiones post-entrenadas de Cosmos 3 Nano, con 16.000 millones de parámetros cada uno, y están disponibles bajo la licencia OpenMDW1.1, que permite uso comercial y no comercial, según Nvidia.

Cómo funcionan los modelos

El primero, llamado Cosmos3-Nano-Transfer-Auto, genera datos sintéticos de conducción de forma offline: produce vídeo sincronizado en hasta 11 cámaras, incluidas lentes de ojo de pez, además de nubes de puntos de LiDAR (sensor láser que mide distancia y forma del entorno) alineadas con esas imágenes. La escena y el tráfico se definen mediante un control llamado World Scenario Map (WSM), un mapa que describe el trazado de la vía y el comportamiento de los vehículos, mientras que instrucciones de texto guían la apariencia visual, según Nvidia.

El segundo, Cosmos3-Nano-Sim-Auto, es una variante de Transfer-Auto adaptada para funcionar casi en tiempo real: genera pequeños fragmentos sucesivos de vídeo y LiDAR usando pocos pasos de eliminación de ruido a partir del historial ya generado y de los controles de conducción más recientes. Según la empresa, esta versión permite simulaciones interactivas y más largas, aunque cerrar el ciclo de interacción todavía exige un motor de simulación y un generador de mapas WSM aparte.

Para qué sirven

Nvidia describe dos usos principales. En robótica, una variante llamada Sim-Bimanual predice las consecuencias visuales de una acción, mientras que Sim-Transfer convierte los controles de un simulador físico en observaciones de imagen generadas por IA. En conducción autónoma, los controles de escena y de semáforos permiten variar el trazado de las calles y el estado de las señales para probar cómo responde una política de conducción a cada escenario, según la empresa.

Según Nvidia, el objetivo es ofrecer una base abierta para que investigadores adapten los modelos a sus propios conjuntos de cámaras y sensores, comparen métodos entre sí y aporten mejoras. La empresa reconoce que todavía falta medir hasta qué punto los modelos sostienen de verdad el entrenamiento y la evaluación de políticas de robots y vehículos autónomos, y dónde siguen fallando.

Cómo adaptar el modelo a otro robot o vehículo

Nvidia describe Transfer-Auto también como base para equipos que usan otras configuraciones de cámaras y LiDAR: el equipo puede post-entrenar el modelo con sus propios datos para ajustarlo al diseño de sensores de un robot o vehículo concreto. Tras ese ajuste, la versión adaptada puede generar datos offline o pasar por un entrenamiento causal y por destilación en pocos pasos para convertirse en una variante rápida de streaming, el mismo camino que la propia Nvidia usó para crear Sim-Auto a partir de Transfer-Auto, según la empresa.

Nvidia afirma que la robótica necesita entornos de simulación capaces de responder a escenas y puntos de vista en constante cambio, y describe los dos modelos como formas complementarias de construir esos entornos: uno centrado en generar observaciones a partir de los controles de un simulador físico, el otro en predecir las consecuencias visuales de una acción. Además de los checkpoints, la empresa publicó una herramienta (una "skill" abierta) que permite que agentes de programación ejecuten inferencia directamente con Cosmos3-Nano-Transfer-Auto, junto con el informe técnico y vídeos de demostración en Hugging Face.

En la práctica

  • Quién puede usarlo: investigadores y desarrolladores de robótica y conducción autónoma, bajo una licencia que permite uso comercial y no comercial.
  • Dónde: descarga de los checkpoints, informe técnico y demostraciones en Hugging Face, según Nvidia.
  • Desde cuándo: disponible desde el anuncio de la empresa.
  • Cuánto cuesta: peso abierto, sin coste de licencia, según Nvidia.
  • A quién afecta: equipos que entrenan robots o sistemas de conducción autónoma y necesitan datos sintéticos de cámara y LiDAR.