M3: Räumlicher Multimodaler 3D-Speicher

M3: 3D-Spatial MultiModal Memory

March 20, 2025

Autoren: Xueyan Zou, Yuchen Song, Ri-Zhao Qiu, Xuanbin Peng, Jianglong Ye, Sifei Liu, Xiaolong Wang

cs.AI

Zusammenfassung

Wir präsentieren 3D Spatial MultiModal Memory (M3), ein multimodales Speichersystem, das darauf ausgelegt ist, Informationen über mittelgroße statische Szenen durch Videoquellen für die visuelle Wahrnehmung zu bewahren. Durch die Integration von 3D-Gaussian-Splatting-Techniken mit Foundation-Modellen erstellt M3 ein multimodales Gedächtnis, das in der Lage ist, Merkmalsrepräsentationen über verschiedene Granularitäten hinweg zu rendern und dabei ein breites Spektrum an Wissen abzudecken. In unserer Untersuchung identifizieren wir zwei zentrale Herausforderungen in früheren Arbeiten zum Feature-Splatting: (1) rechnerische Beschränkungen bei der Speicherung hochdimensionaler Merkmale für jedes Gaußsche Primitiv und (2) Fehlausrichtung oder Informationsverlust zwischen destillierten Merkmalen und Foundation-Modell-Merkmalen. Um diese Herausforderungen zu bewältigen, schlagen wir M3 mit Schlüsselkomponenten wie Hauptszenenkomponenten und Gaußscher Gedächtnisaufmerksamkeit vor, die effizientes Training und Inferenz ermöglichen. Zur Validierung von M3 führen wir umfassende quantitative Bewertungen der Merkmalsähnlichkeit und nachgelagerter Aufgaben durch sowie qualitative Visualisierungen, um die Pixelspur der Gaußschen Gedächtnisaufmerksamkeit hervorzuheben. Unser Ansatz umfasst eine Vielzahl von Foundation-Modellen, darunter Vision-Language-Modelle (VLMs), Wahrnehmungsmodelle sowie große multimodale und Sprachmodelle (LMMs/LLMs). Darüber hinaus demonstrieren wir die praktische Anwendbarkeit, indem wir das Merkmalsfeld von M3 in Innenraumszenen auf einem Quadruped-Roboter einsetzen. Bemerkenswerterweise behaupten wir, dass M3 die erste Arbeit ist, die die zentralen Kompressionsherausforderungen bei der 3D-Merkmal-Destillation adressiert.

English

We present 3D Spatial MultiModal Memory (M3), a multimodal memory system designed to retain information about medium-sized static scenes through video sources for visual perception. By integrating 3D Gaussian Splatting techniques with foundation models, M3 builds a multimodal memory capable of rendering feature representations across granularities, encompassing a wide range of knowledge. In our exploration, we identify two key challenges in previous works on feature splatting: (1) computational constraints in storing high-dimensional features for each Gaussian primitive, and (2) misalignment or information loss between distilled features and foundation model features. To address these challenges, we propose M3 with key components of principal scene components and Gaussian memory attention, enabling efficient training and inference. To validate M3, we conduct comprehensive quantitative evaluations of feature similarity and downstream tasks, as well as qualitative visualizations to highlight the pixel trace of Gaussian memory attention. Our approach encompasses a diverse range of foundation models, including vision-language models (VLMs), perception models, and large multimodal and language models (LMMs/LLMs). Furthermore, to demonstrate real-world applicability, we deploy M3's feature field in indoor scenes on a quadruped robot. Notably, we claim that M3 is the first work to address the core compression challenges in 3D feature distillation.