MM-Spatial: Erforschung des räumlichen 3D-Verständnisses in multimodalen LLMs

MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs

March 17, 2025

Autoren: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch

cs.AI

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) zeichnen sich durch ihr Verständnis von 2D-Bildern aus, sind jedoch in ihrer Fähigkeit, 3D-Räume zu erfassen, noch begrenzt. In dieser Arbeit nutzen wir umfangreiche, hochwertige 3D-Szenendaten mit offenen Annotationen, um 1) einen neuartigen, überwachten Feinabstimmungsdatensatz und 2) einen neuen Evaluierungsbenchmark zu entwickeln, der sich auf Innenraumszenen konzentriert. Unser Cubify Anything VQA (CA-VQA)-Datensatz deckt vielfältige räumliche Aufgaben ab, einschließlich der Vorhersage räumlicher Beziehungen, der Schätzung metrischer Größen und Entfernungen sowie der 3D-Verankerung. Wir zeigen, dass CA-VQA es uns ermöglicht, MM-Spatial zu trainieren, ein leistungsstarkes generalistisches MLLM, das auch Spitzenleistungen auf 3D-räumlichen Verständnisbenchmarks, einschließlich unseres eigenen, erzielt. Wir demonstrieren, wie die Einbindung metrischer Tiefe und multiviewer Eingaben (bereitgestellt in CA-VQA) das 3D-Verständnis weiter verbessern kann, und zeigen, dass allein die Daten unserem Modell Tiefenwahrnehmungsfähigkeiten verleihen, die mit dedizierten monokularen Tiefenschätzmodellen vergleichbar sind. Wir werden unseren SFT-Datensatz und Benchmark veröffentlichen.

English

Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models. We will publish our SFT dataset and benchmark.