Models de món: com la predicció de dinàmica canvia la política de robots
El problema que resolen els WAM
En robòtica, entrenar una política que funcioni només en les escenes de demostració és fàcil. Que funcioni quan els objectes canvien de forma, posició o il·luminació és una altra cosa. Un model entrenat en una taula blanca falla en una taula de fusta. Un gripper que va aprendre a tancar sobre un cub no tanca igual sobre una esfera.
L'enfocament estàndard fins ara ha estat afegir un mòdul d'acció a un model de visió-llenguatge preentrenat, creant un model visió-llenguatge-acció (VLA). Funciona bé per entendre instruccions en llenguatge natural i reconèixer objectes. Però aquí està el problema: un VLM aprèn a descriure el món, no a predir com evoluciona. Aquest model de dinàmica que falta és exactament el que un robot necessita quan la tasca depèn d'anticipar com canviarà una escena. Quan el gripper es tanca, què passa amb la tassa? Quan es deixa anar un objecte, on cau?
NVIDIA proposa reemplaçar la columna vertebral de llenguatge amb un model de món basat en vídeo, creant el que anomena World Action Model (WAM). Jim Fan, investigador de NVIDIA, va resumir aquesta transició amb una frase: "Els VLA són morts, llarga vida als World Action Models."
Què canvia a la pràctica
La diferència no és teòrica. Un VLM està optimitzat per generar text sobre imatges. Els WAM modelen com evoluciona una escena. Això significa que durant l'entrenament posterior, no cal ensenyar dinàmica des de zero: la política s'especialitza sobre un model que ja té una comprensió prèvia de la física.
Segons el paper de NVIDIA "World Action Models are Zero-shot Policies", això es tradueix en tres guanys pràctics: necessites menys dades per assolir una capacitat donada, el comportament generalitza millor fora de la distribució d'entrenament, i el camí cap a una nova plataforma (un altre robot, un altre gripper) és més curt. Aquestes propietats venen del propi backbone de preentrenament, així que apareixen en qualsevol política que s'especialitzi a partir d'ell.
Cosmos 3, la base
NVIDIA presenta Cosmos 3, un model de món omnimodal basat en una arquitectura Mixture-of-Transformers. El flux d'entrada multimodal passa per un transformer autoregressiu que genera tokens discrets com a text. Això guia un transformer de difusió per a modalitats contínues: imatge, vídeo, àudio i acció. El text es genera per descodificació token a token; tot la resta, incloses les accions, se sintetitza per denoising iteratiu.
Cosmos 3 ve en tres mides: 4B (Cosmos Edge), 16B (Cosmos Nano) i 64B (Cosmos 3 Super). El que el fa sòlid com a base per a especialització és l'amplitud de les seves dades de món físic: aproximadament 767 milions d'imatges, 348 milions de vídeos de dinàmica real i 8 milions de mostres d'acció que abasten manipulació robòtica, conducció autònoma, moviment de càmera i moviment egocèntric.
NVIDIA ja ofereix polítiques postentrenades: Cosmos3-Nano-Policy-DROID (16B) per al braç Franka Panda i Cosmos3-Edge-Policy-DROID (4B) per a desplegament en dispositiu. Donada una instrucció en llenguatge i observacions de múltiples càmeres, ambdues generen trajectòries d'acció per al robot.
Un canvi de paradigma
Els WAM representen un moviment conceptual: d'"aprendre a actuar" a "aprendre com evoluciona el món". El robot no memoritza demostracions, anticipa conseqüències. Cosmos 3 fa aquest enfocament pràctic oferint tres mides que s'ajusten a diferents tiers de desplegament sense forçar un sol compromís.
On el hardware conversacional entra en joc
A bitbitbla, treballem a traduir veu en comandaments JSON deterministes que el hardware executa directament. La plataforma envia la intenció detectada, la confiança i els paràmetres de l'acció per port sèrie o webhooks, llestos per a execució física. El microcontrolador actua com a terminal que rep ordres directes, i els triggers de context permeten que l'agent reaccioni a variables de l'entorn en temps real.
En lloc de sobrecarregar el microcontrolador amb models pesats de física o visió, a BitBitBla mantenim el firmware del dispositiu lleuger i determinista. La intel·ligència contextual resideix en el nostre orquestrador al núvol, que processa la dinàmica de l'entorn i envia al microcontrolador l'ordre precisa en format JSON per port sèrie per a la seva execució immediata.
Font: NVIDIA Embedded.