SynCity: Trainingsfreie Erzeugung von 3D-Welten

SynCity: Training-Free Generation of 3D Worlds

March 20, 2025

Autoren: Paul Engstler, Aleksandar Shtedritski, Iro Laina, Christian Rupprecht, Andrea Vedaldi

cs.AI

Zusammenfassung

Wir widmen uns der Herausforderung, 3D-Welten aus textuellen Beschreibungen zu generieren. Wir stellen SynCity vor, einen Ansatz, der ohne Training und Optimierung auskommt und die geometrische Präzision vortrainierter 3D-Generatormodelle mit der künstlerischen Vielseitigkeit von 2D-Bildgeneratoren kombiniert, um großflächige, hochwertige 3D-Räume zu erschaffen. Während die meisten 3D-Generatormodelle objektzentriert sind und keine großflächigen Welten erzeugen können, zeigen wir, wie 3D- und 2D-Generatoren kombiniert werden können, um sich ständig erweiternde Szenen zu generieren. Durch einen tile-basierten Ansatz ermöglichen wir eine fein abgestimmte Kontrolle über das Layout und das Erscheinungsbild der Szenen. Die Welt wird tile-für-tile generiert, wobei jedes neue Tile in seinem Weltkontext erzeugt und anschließend mit der Szene verschmolzen wird. SynCity erzeugt überzeugende und immersive Szenen, die reich an Details und Vielfalt sind.

English

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.