Cube: Eine Roblox-Perspektive auf 3D-Intelligenz

Cube: A Roblox View of 3D Intelligence

March 19, 2025

Autoren: Foundation AI Team, Kiran Bhat, Nishchaie Khanna, Karun Channa, Tinghui Zhou, Yiheng Zhu, Xiaoxia Sun, Charles Shang, Anirudh Sudarshan, Maurice Chu, Daiqing Li, Kangle Deng, Jean-Philippe Fauconnier, Tijmen Verhulsdonck, Maneesh Agrawala, Kayvon Fatahalian, Alexander Weiss, Christian Reiser, Ravi Kiran Chirravuri, Ravali Kandur, Alejandro Pelaez, Akash Garg, Michael Palleschi, Jessica Wang, Skylar Litz, Leon Liu, Anying Li, David Harmon, Derek Liu, Liangjun Feng, Denis Goupil, Lukas Kuczynski, Jihyun Yoon, Naveen Marri, Peiye Zhuang, Yinan Zhang, Brian Yin, Haomiao Jiang, Marcel van Workum, Thomas Lane, Bryce Erickson, Salil Pathare, Kyle Price, Anupam Singh, David Baszucki

cs.AI

Zusammenfassung

Foundation Models, die mit großen Datenmengen trainiert wurden, haben bemerkenswerte Fähigkeiten im Bereich des Denkens und der Generierung in den Domänen Text, Bilder, Audio und Video gezeigt. Unser Ziel bei Roblox ist es, ein solches Foundation Model für 3D-Intelligenz zu entwickeln – ein Modell, das Entwickler dabei unterstützen kann, alle Aspekte einer Roblox-Erfahrung zu erstellen, von der Generierung von 3D-Objekten und Szenen über das Rigging von Charakteren für Animationen bis hin zur Erstellung programmatischer Skripte, die Objektverhalten beschreiben. Wir diskutieren drei zentrale Designanforderungen für ein solches 3D-Foundation Model und präsentieren dann unseren ersten Schritt zum Aufbau eines solchen Modells. Wir gehen davon aus, dass 3D-geometrische Formen ein zentraler Datentyp sein werden und beschreiben unsere Lösung für einen 3D-Shape-Tokenizer. Wir zeigen, wie unser Tokenisierungsschema in Anwendungen für Text-zu-Form-Generierung, Form-zu-Text-Generierung und Text-zu-Szene-Generierung eingesetzt werden kann. Wir demonstrieren, wie diese Anwendungen mit bestehenden Large Language Models (LLMs) zusammenarbeiten können, um Szenenanalysen und -schlussfolgerungen durchzuführen. Wir schließen mit einer Diskussion, die unseren Weg zur Entwicklung eines vollständig vereinheitlichten Foundation Models für 3D-Intelligenz skizziert.

English

Foundation models trained on vast amounts of data have demonstrated remarkable reasoning and generation capabilities in the domains of text, images, audio and video. Our goal at Roblox is to build such a foundation model for 3D intelligence, a model that can support developers in producing all aspects of a Roblox experience, from generating 3D objects and scenes to rigging characters for animation to producing programmatic scripts describing object behaviors. We discuss three key design requirements for such a 3D foundation model and then present our first step towards building such a model. We expect that 3D geometric shapes will be a core data type and describe our solution for 3D shape tokenizer. We show how our tokenization scheme can be used in applications for text-to-shape generation, shape-to-text generation and text-to-scene generation. We demonstrate how these applications can collaborate with existing large language models (LLMs) to perform scene analysis and reasoning. We conclude with a discussion outlining our path to building a fully unified foundation model for 3D intelligence.