Cosmos-Reason1: Vom physikalischen Alltagsverständnis zum verkörperten Denken

Cosmos-Reason1: From Physical Common Sense To Embodied Reasoning

March 18, 2025

Autoren: NVIDIA, Alisson Azzolini, Hannah Brandon, Prithvijit Chattopadhyay, Huayu Chen, Jinju Chu, Yin Cui, Jenna Diamond, Yifan Ding, Francesco Ferroni, Rama Govindaraju, Jinwei Gu, Siddharth Gururani, Imad El Hanafi, Zekun Hao, Jacob Huffman, Jingyi Jin, Brendan Johnson, Rizwan Khan, George Kurian, Elena Lantz, Nayeon Lee, Zhaoshuo Li, Xuan Li, Tsung-Yi Lin, Yen-Chen Lin, Ming-Yu Liu, Andrew Mathau, Yun Ni, Lindsey Pavao, Wei Ping, David W. Romero, Misha Smelyanskiy, Shuran Song, Lyne Tchapmi, Andrew Z. Wang, Boxin Wang, Haoxiang Wang, Fangyin Wei, Jiashu Xu, Yao Xu, Xiaodong Yang, Zhuolin Yang, Xiaohui Zeng, Zhe Zhang

cs.AI

Zusammenfassung

Physische KI-Systeme müssen die physische Welt wahrnehmen, verstehen und komplexe Handlungen ausführen. In diesem Artikel stellen wir die Cosmos-Reason1-Modelle vor, die die physische Welt verstehen und geeignete verkörperte Entscheidungen (z. B. nächste Handlungsschritte) in natürlicher Sprache durch lange Ketten von Denkprozessen generieren können. Wir beginnen mit der Definition von Schlüsselkompetenzen für die physische KI-Argumentation, wobei der Schwerpunkt auf physischem Alltagsverständnis und verkörperter Argumentation liegt. Um physisches Alltagsverständnis darzustellen, verwenden wir eine hierarchische Ontologie, die grundlegendes Wissen über Raum, Zeit und Physik erfasst. Für die verkörperte Argumentation stützen wir uns auf eine zweidimensionale Ontologie, die über verschiedene physische Verkörperungen hinweg verallgemeinert. Aufbauend auf diesen Fähigkeiten entwickeln wir zwei multimodale große Sprachmodelle, Cosmos-Reason1-8B und Cosmos-Reason1-56B. Wir kuratieren Daten und trainieren unsere Modelle in vier Phasen: Vision-Pre-Training, allgemeines überwachtes Feinabstimmen (SFT), physisches KI-SFT und physisches KI-Reinforcement Learning (RL) als Nachschulung. Um unsere Modelle zu bewerten, erstellen wir umfassende Benchmarks für physisches Alltagsverständnis und verkörperte Argumentation gemäß unseren Ontologien. Die Evaluationsergebnisse zeigen, dass physisches KI-SFT und Reinforcement Learning signifikante Verbesserungen bringen. Um die Entwicklung physischer KI zu fördern, werden wir unseren Code und vortrainierte Modelle unter der NVIDIA Open Model License auf https://github.com/nvidia-cosmos/cosmos-reason1 verfügbar machen.

English

Physical AI systems need to perceive, understand, and perform complex actions in the physical world. In this paper, we present the Cosmos-Reason1 models that can understand the physical world and generate appropriate embodied decisions (e.g., next step action) in natural language through long chain-of-thought reasoning processes. We begin by defining key capabilities for Physical AI reasoning, with a focus on physical common sense and embodied reasoning. To represent physical common sense, we use a hierarchical ontology that captures fundamental knowledge about space, time, and physics. For embodied reasoning, we rely on a two-dimensional ontology that generalizes across different physical embodiments. Building on these capabilities, we develop two multimodal large language models, Cosmos-Reason1-8B and Cosmos-Reason1-56B. We curate data and train our models in four stages: vision pre-training, general supervised fine-tuning (SFT), Physical AI SFT, and Physical AI reinforcement learning (RL) as the post-training. To evaluate our models, we build comprehensive benchmarks for physical common sense and embodied reasoning according to our ontologies. Evaluation results show that Physical AI SFT and reinforcement learning bring significant improvements. To facilitate the development of Physical AI, we will make our code and pre-trained models available under the NVIDIA Open Model License at https://github.com/nvidia-cosmos/cosmos-reason1.