Modelli del mondo: come la predizione della dinamica cambia la policy dei robot

Il problema che risolvono i WAM

In robotica, addestrare una policy che funzioni solo nelle scene di dimostrazione è facile. Farla funzionare quando gli oggetti cambiano forma, posizione o illuminazione è un'altra storia. Un modello addestrato su un tavolo bianco fallisce su un tavolo di legno. Un gripper che ha imparato a chiudersi su un cubo non chiude allo stesso modo su una sfera.

L'approccio standard finora è stato aggiungere un modulo di azione a un modello visione-linguaggio preaddestrato, creando un modello visione-linguaggio-azione (VLA). Funziona bene per capire istruzioni in linguaggio naturale e riconoscere oggetti. Ma ecco il problema: un VLM impara a descrivere il mondo, non a predire come evolve. Quel modello di dinamica mancante è esattamente ciò di cui un robot ha bisogno quando il compito dipende dall'anticipare come cambierà una scena. Quando il gripper si chiude, cosa succede alla tazza? Quando si lascia un oggetto, dove cade?

NVIDIA propone di sostituire la backbone di linguaggio con un modello del mondo basato su video, creando quello che chiama World Action Model (WAM). Jim Fan, ricercatore di NVIDIA, ha riassunto questa transizione in una frase: "I VLA sono morti, lunga vita ai World Action Models."

Cosa cambia in pratica

La differenza non è teorica. Un VLM è ottimizzato per generare testo sulle immagini. I WAM modellano come evolve una scena. Ciò significa che durante il post-training non bisogna insegnare la dinamica da zero: la policy si specializza su un modello che ha già una comprensione preliminare della fisica.

Secondo il paper di NVIDIA "World Action Models are Zero-shot Policies", questo si traduce in tre guadagni pratici: servono meno dati per raggiungere una data capacità, il comportamento generalizza meglio fuori dalla distribuzione di training, e il percorso verso una nuova piattaforma (un altro robot, un altro gripper) è più breve. Queste proprietà vengono dalla backbone di pretraining stessa, quindi compaiono in qualsiasi policy che si specializzi a partire da essa.

Cosmos 3, la base

NVIDIA presenta Cosmos 3, un modello del mondo omnimodale basato su un'architettura Mixture-of-Transformers. Il flusso di input multimodale passa attraverso un transformer autoregressivo che genera token discreti come testo. Questo guida un transformer di diffusione per le modalità continue: immagine, video, audio e azione. Il testo è generato per decodifica token-a-token; tutto il resto, incluse le azioni, è sintetizzato per denoising iterativo.

Cosmos 3 arriva in tre dimensioni: 4B (Cosmos Edge), 16B (Cosmos Nano) e 64B (Cosmos 3 Super). Ciò che lo rende solido come base di specializzazione è l'ampiezza dei suoi dati del mondo fisico: circa 767 milioni di immagini, 348 milioni di video di dinamica reale e 8 milioni di campioni di azione che coprono manipolazione robotica, guida autonoma, movimento della camera e movimento egocentrico.

NVIDIA offre già policy post-addestrate: Cosmos3-Nano-Policy-DROID (16B) per il braccio Franka Panda e Cosmos3-Edge-Policy-DROID (4B) per il deployment on-device. Data un'istruzione in linguaggio e osservazioni multi-camera, entrambe generano traiettorie di azione per il robot.

Un cambio di paradigma

I WAM rappresentano un movimento concettuale: da "imparare ad agire" a "imparare come evolve il mondo". Il robot non memorizza dimostrazioni, anticipa conseguenze. Cosmos 3 rende questo approccio pratico offrendo tre dimensioni che si adattano a diversi tier di deployment senza forzare un unico compromesso.

Dove entra in gioco l'hardware conversazionale

In bitbitbla lavoriamo a tradurre la voce in comandi JSON deterministici che l'hardware esegue direttamente. La piattaforma invia l'intento rilevato, la confidenza e i parametri dell'azione via porta seriale o webhook, pronti per l'esecuzione fisica. Il microcontrollore agisce come un terminale che riceve ordini diretti, e i trigger di contesto permettono all'agente di reagire alle variabili dell'ambiente in tempo reale.

Invece di sovraccaricare il microcontrollore con modelli pesanti di fisica o visione, in BitBitBla manteniamo il firmware del dispositivo leggero e deterministico. L'intelligenza contestuale risiede nel nostro orchestratore cloud, che elabora la dinamica dell'ambiente e invia al microcontrollore l'ordine preciso in formato JSON via porta seriale per l'esecuzione immediata.

Fonte: NVIDIA Embedded.