FirePlace: Geometrische Verfeinerungen des gesunden Menschenverstands von LLMs für die 3D-Objektplatzierung

FirePlace: Geometric Refinements of LLM Common Sense Reasoning for 3D Object Placement

March 6, 2025

Autoren: Ian Huang, Yanan Bao, Karen Truong, Howard Zhou, Cordelia Schmid, Leonidas Guibas, Alireza Fathi

cs.AI

Zusammenfassung

Die Szenengenerierung mit 3D-Assets stellt eine komplexe Herausforderung dar, die sowohl ein hochrangiges semantisches Verständnis als auch eine detaillierte geometrische Analyse erfordert. Während Multimodale Große Sprachmodelle (MLLMs) bei semantischen Aufgaben hervorragende Leistungen erbringen, wird ihre Anwendung auf die 3D-Szenengenerierung durch ihre begrenzte Verankerung in der 3D-Geometrie behindert. In diesem Artikel untersuchen wir, wie MLLMs am besten für eine Objektplatzierungsaufgabe eingesetzt werden können. Zu diesem Zweck stellen wir ein neuartiges Framework, FirePlace, vor, das bestehende MLLMs in (1) der 3D-geometrischen Analyse und der Extraktion relevanter geometrischer Details aus der 3D-Szene, (2) der Konstruktion und Lösung geometrischer Randbedingungen auf der extrahierten detaillierten Geometrie und (3) der Auswahl endgültiger Platzierungen, die dem gesunden Menschenverstand entsprechen, anwendet. Durch die Kombination von geometrischer Analyse mit dem realweltlichen Verständnis von MLLMs kann unsere Methode Objektplatzierungen vorschlagen, die sowohl geometrische Randbedingungen als auch hochrangige semantische Überlegungen des gesunden Menschenverstands erfüllen. Unsere Experimente zeigen, dass diese Fähigkeiten es unserer Methode ermöglichen, Objekte effektiver in komplexen Szenen mit anspruchsvoller Geometrie zu platzieren und dabei die Qualität bisheriger Arbeiten zu übertreffen.

English

Scene generation with 3D assets presents a complex challenge, requiring both high-level semantic understanding and low-level geometric reasoning. While Multimodal Large Language Models (MLLMs) excel at semantic tasks, their application to 3D scene generation is hindered by their limited grounding on 3D geometry. In this paper, we investigate how to best work with MLLMs in an object placement task. Towards this goal, we introduce a novel framework, FirePlace, that applies existing MLLMs in (1) 3D geometric reasoning and the extraction of relevant geometric details from the 3D scene, (2) constructing and solving geometric constraints on the extracted low-level geometry, and (3) pruning for final placements that conform to common sense. By combining geometric reasoning with real-world understanding of MLLMs, our method can propose object placements that satisfy both geometric constraints as well as high-level semantic common-sense considerations. Our experiments show that these capabilities allow our method to place objects more effectively in complex scenes with intricate geometry, surpassing the quality of prior work.