Weltmodelle: wie Dynamik-Vorhersage die Robot-Policy verändert

Das Problem, das WAMs lösen

In der Robotik ist es leicht, eine Policy zu trainieren, die nur in Demonstrationsszenen funktioniert. Dass sie funktioniert, wenn Objekte Form, Position oder Beleuchtung ändern, ist eine andere Sache. Ein Modell, das auf einem weißen Tisch trainiert wurde, scheitert auf einem Holztisch. Ein Gripper, der gelernt hat, auf einem Würfel zu schließen, schließt auf einer Kugel nicht gleich.

Der bisherige Standardansatz war, einem vortrainierten Vision-Language-Modell ein Aktionsmodul hinzuzufügen und so ein Vision-Language-Action-(VLA)-Modell zu erzeugen. Das funktioniert gut, um Anweisungen in natürlicher Sprache zu verstehen und Objekte zu erkennen. Aber hier liegt das Problem: Ein VLM lernt, die Welt zu beschreiben, nicht zu vorhersagen, wie sie sich entwickelt. Dieses fehlende Dynamikmodell ist genau das, was ein Roboter braucht, wenn die Aufgabe davon abhängt, vorauszusehen, wie sich eine Szene ändern wird. Wenn der Gripper schließt — was passiert mit der Tasse? Wenn ein Objekt losgelassen wird — wohin fällt es?

NVIDIA schlägt vor, das Language-Backbone durch ein video-basiertes Weltmodell zu ersetzen und so ein sogenanntes World Action Model (WAM) zu schaffen. Jim Fan, Forscher bei NVIDIA, fasste diesen Übergang in einem Satz zusammen: „VLAs are dead, long live World Action Models.“

Was sich in der Praxis ändert

Der Unterschied ist nicht theoretisch. Ein VLM ist darauf optimiert, Text über Bilder zu erzeugen. WAMs modellieren, wie sich eine Szene entwickelt. Das bedeutet: Beim Post-Training muss Dynamik nicht von Grund auf gelehrt werden — die Policy spezialisiert sich auf einem Modell, das bereits ein Vorverständnis von Physik hat.

Laut dem NVIDIA-Paper „World Action Models are Zero-shot Policies“ übersetzt sich das in drei praktische Gewinne: Sie brauchen weniger Daten, um eine gegebene Fähigkeit zu erreichen, das Verhalten generalisiert besser außerhalb der Trainingsverteilung, und der Weg zu einer neuen Plattform (anderer Roboter, anderer Gripper) ist kürzer. Diese Eigenschaften kommen vom Pretraining-Backbone selbst und erscheinen daher in jeder Policy, die sich daraus spezialisiert.

Cosmos 3, die Basis

NVIDIA stellt Cosmos 3 vor, ein omnimodales Weltmodell auf Basis einer Mixture-of-Transformers-Architektur. Der multimodale Eingabestrom läuft durch einen autoregressiven Transformer, der diskrete Tokens wie Text erzeugt. Das führt einen Diffusions-Transformer für kontinuierliche Modalitäten: Bild, Video, Audio und Aktion. Text wird Token für Token dekodiert; alles andere, einschließlich Aktionen, wird durch iteratives Denoising synthetisiert.

Cosmos 3 gibt es in drei Größen: 4B (Cosmos Edge), 16B (Cosmos Nano) und 64B (Cosmos 3 Super). Was es als Spezialisierungsbasis stark macht, ist die Breite seiner physischen Weltdaten: etwa 767 Millionen Bilder, 348 Millionen Videos realer Dynamik und 8 Millionen Aktionsproben aus robotischer Manipulation, autonomem Fahren, Kamerabewegung und egozentrischer Bewegung.

NVIDIA bietet bereits post-trainierte Policies an: Cosmos3-Nano-Policy-DROID (16B) für den Franka-Panda-Arm und Cosmos3-Edge-Policy-DROID (4B) für On-Device-Deployment. Mit einer Sprachanweisung und Multi-Kamera-Beobachtungen erzeugen beide Aktionstrajektorien für den Roboter.

Ein Paradigmenwechsel

WAMs stehen für eine konzeptionelle Verschiebung: von „Handeln lernen“ zu „lernen, wie sich die Welt entwickelt“. Der Roboter memoriert keine Demonstrationen, er antizipiert Konsequenzen. Cosmos 3 macht diesen Ansatz praktisch, indem es drei Größen anbietet, die zu unterschiedlichen Deployment-Tiers passen, ohne einen einzigen Kompromiss zu erzwingen.

Wo konversationelle Hardware ins Spiel kommt

Bei bitbitbla arbeiten wir daran, Sprache in deterministische JSON-Befehle zu übersetzen, die Hardware direkt ausführt. Die Plattform sendet die erkannte Absicht, die Confidence und die Aktionsparameter über Serielle Schnittstelle oder Webhooks — bereit für physische Ausführung. Der Mikrocontroller agiert als Terminal, das direkte Befehle empfängt, und Kontext-Trigger ermöglichen dem Agenten, in Echtzeit auf Umgebungsvariablen zu reagieren.

Statt den Mikrocontroller mit schweren Physik- oder Vision-Modellen zu belasten, halten wir bei BitBitBla die Geräte-Firmware leicht und deterministisch. Kontextuelle Intelligenz lebt in unserem Cloud-Orchestrator, der die Umgebungsdynamik verarbeitet und dem Mikrocontroller den präzisen Befehl im JSON-Format über Seriell zur sofortigen Ausführung sendet.

Quelle: NVIDIA Embedded.