A Nvidia lançou quatro novos checkpoints de peso aberto para a família de modelos Cosmos 3, voltados a simular cenas de robótica e de direção autônoma com múltiplas câmeras e sensores, segundo publicação da própria empresa no Hugging Face.

Os quatro modelos são versões pós-treinadas do Cosmos 3 Nano, com 16 bilhões de parâmetros cada, e ficam disponíveis sob a licença OpenMDW1.1, que permite uso comercial e não comercial, segundo a Nvidia.

Como os modelos funcionam

O primeiro, chamado Cosmos3-Nano-Transfer-Auto, gera dados sintéticos de direção de forma offline: produz vídeo sincronizado em até 11 câmeras, incluindo lentes fisheye, além de nuvens de pontos de LiDAR (sensor a laser que mede distância e forma do ambiente) alinhadas às imagens. A cena e o tráfego são definidos por um controle chamado World Scenario Map (WSM), um mapa que descreve o layout da via e o comportamento dos veículos, enquanto a aparência do ambiente é guiada por instruções em texto, segundo a Nvidia.

O segundo, Cosmos3-Nano-Sim-Auto, é uma variante do Transfer-Auto adaptada para funcionar em tempo real: gera pequenos trechos de vídeo e LiDAR em sequência, usando poucos passos de remoção de ruído a partir do histórico já gerado e dos controles de condução mais recentes. Segundo a empresa, essa versão permite simulações interativas e mais longas, embora fechar o ciclo de interação ainda exija um motor de simulação e um gerador de mapas WSM à parte.

Para que servem

A Nvidia descreve dois usos principais. Em robótica, uma variante chamada Sim-Bimanual prevê as consequências visuais de uma ação, enquanto a Sim-Transfer converte os comandos de um simulador físico em observações de imagem geradas por IA. Em direção autônoma, os controles de cena e de sinalização permitem variar o traçado de ruas e o estado dos semáforos para testar como uma política de condução reage a cada cenário, segundo a empresa.

Segundo a Nvidia, o objetivo é oferecer uma base aberta para que pesquisadores adaptem os modelos a seus próprios conjuntos de câmeras e sensores, comparem métodos entre si e contribuam com melhorias. A empresa reconhece que ainda falta medir até que ponto os modelos sustentam, de fato, o treinamento e a avaliação de políticas de robôs e veículos autônomos, e onde eles ainda falham.

Como adaptar o modelo a outro robô ou veículo

A Nvidia descreve o Transfer-Auto como base também para quem usa configurações diferentes de câmeras e LiDAR: a equipe pode pós-treinar o modelo com seus próprios dados para ajustá-lo ao layout de sensores de um robô ou carro específico. Depois desse ajuste, a versão adaptada tanto pode gerar dados offline quanto passar por um treinamento causal e por destilação em poucos passos para virar uma versão rápida de streaming, o mesmo caminho que a própria Nvidia usou para criar o Sim-Auto a partir do Transfer-Auto, segundo a empresa.

A Nvidia afirma que a robótica depende de ambientes de simulação capazes de responder a cenas e pontos de vista em constante mudança, e descreve os dois modelos como formas complementares de construir esses ambientes: um foca em gerar observações a partir de controles de um simulador físico, o outro em prever as consequências visuais de uma ação. Além dos checkpoints, a empresa publicou uma ferramenta (chamada de "skill" aberta) que permite que agentes de programação rodem inferência diretamente com o Cosmos3-Nano-Transfer-Auto, junto do relatório técnico e de vídeos de demonstração no Hugging Face.

Na prática

  • Quem pode usar: pesquisadores e desenvolvedores de robótica e direção autônoma, sob licença que permite uso comercial e não comercial.
  • Onde: download dos checkpoints, relatório técnico e demonstrações no Hugging Face, segundo a Nvidia.
  • Desde quando: disponível a partir do anúncio da empresa.
  • Quanto custa: peso aberto, sem custo de licenciamento, segundo a Nvidia.
  • Quem é afetado: equipes que treinam robôs ou sistemas de condução autônoma e precisam de dados sintéticos de câmera e LiDAR.