Modèles du monde : comment la prédiction de dynamique change la politique des robots
Le problème que résolvent les WAM
En robotique, entraîner une politique qui ne fonctionne que sur les scènes de démonstration est facile. Qu'elle fonctionne lorsque les objets changent de forme, de position ou d'éclairage est une autre affaire. Un modèle entraîné sur une table blanche échoue sur une table en bois. Un gripper qui a appris à se fermer sur un cube ne se ferme pas de la même façon sur une sphère.
L'approche standard jusqu'ici a été d'ajouter un module d'action à un modèle vision-langage préentraîné, créant un modèle vision-langage-action (VLA). Cela fonctionne bien pour comprendre des instructions en langage naturel et reconnaître des objets. Mais voilà le problème : un VLM apprend à décrire le monde, pas à prédire comment il évolue. Ce modèle de dynamique manquant est exactement ce dont un robot a besoin lorsque la tâche dépend d'anticiper comment une scène va changer. Quand le gripper se ferme, que se passe-t-il avec la tasse ? Quand on lâche un objet, où tombe-t-il ?
NVIDIA propose de remplacer la colonne vertébrale de langage par un modèle du monde basé sur la vidéo, créant ce qu'elle appelle un World Action Model (WAM). Jim Fan, chercheur chez NVIDIA, a résumé cette transition en une phrase : « Les VLA sont morts, vive les World Action Models. »
Ce qui change en pratique
La différence n'est pas théorique. Un VLM est optimisé pour générer du texte sur des images. Les WAM modélisent comment une scène évolue. Cela signifie que pendant le post-entraînement, il n'est pas nécessaire d'enseigner la dynamique depuis zéro : la politique se spécialise sur un modèle qui a déjà une compréhension préalable de la physique.
Selon le paper de NVIDIA « World Action Models are Zero-shot Policies », cela se traduit par trois gains pratiques : vous avez besoin de moins de données pour atteindre une capacité donnée, le comportement généralise mieux hors de la distribution d'entraînement, et le chemin vers une nouvelle plateforme (un autre robot, un autre gripper) est plus court. Ces propriétés viennent du backbone de préentraînement lui-même, elles apparaissent donc dans toute politique qui s'en spécialise.
Cosmos 3, la base
NVIDIA présente Cosmos 3, un modèle du monde omnimodal basé sur une architecture Mixture-of-Transformers. Le flux d'entrée multimodal passe par un transformer autorégressif qui génère des tokens discrets comme du texte. Cela guide un transformer de diffusion pour les modalités continues : image, vidéo, audio et action. Le texte est généré par décodage token par token ; tout le reste, y compris les actions, est synthétisé par denoising itératif.
Cosmos 3 existe en trois tailles : 4B (Cosmos Edge), 16B (Cosmos Nano) et 64B (Cosmos 3 Super). Ce qui le rend solide comme base de spécialisation, c'est l'ampleur de ses données du monde physique : environ 767 millions d'images, 348 millions de vidéos de dynamique réelle et 8 millions d'échantillons d'action couvrant la manipulation robotique, la conduite autonome, le mouvement de caméra et le mouvement égocentrique.
NVIDIA propose déjà des politiques post-entraînées : Cosmos3-Nano-Policy-DROID (16B) pour le bras Franka Panda et Cosmos3-Edge-Policy-DROID (4B) pour le déploiement sur appareil. Avec une instruction en langage et des observations multi-caméras, les deux génèrent des trajectoires d'action pour le robot.
Un changement de paradigme
Les WAM représentent un mouvement conceptuel : de « apprendre à agir » à « apprendre comment le monde évolue ». Le robot ne mémorise pas des démonstrations, il anticipe des conséquences. Cosmos 3 rend cette approche pratique en offrant trois tailles adaptées à différents tiers de déploiement sans forcer un seul compromis.
Où le hardware conversationnel entre en jeu
Chez bitbitbla, nous travaillons à traduire la voix en commandes JSON déterministes que le hardware exécute directement. La plateforme envoie l'intention détectée, la confiance et les paramètres de l'action par port série ou webhooks, prêts pour l'exécution physique. Le microcontrôleur agit comme un terminal qui reçoit des ordres directs, et les triggers de contexte permettent à l'agent de réagir aux variables de l'environnement en temps réel.
Au lieu de surcharger le microcontrôleur avec des modèles lourds de physique ou de vision, chez BitBitBla nous maintenons le firmware de l'appareil léger et déterministe. L'intelligence contextuelle réside dans notre orchestrateur cloud, qui traite la dynamique de l'environnement et envoie au microcontrôleur l'ordre précis au format JSON par port série pour une exécution immédiate.
Source : NVIDIA Embedded.