Entkommen aus Platons Höhle: Auf dem Weg zur Ausrichtung von 3D- und Text-Latenträumen

Escaping Plato's Cave: Towards the Alignment of 3D and Text Latent Spaces

March 7, 2025

Autoren: Souhail Hadgi, Luca Moschella, Andrea Santilli, Diego Gomez, Qixing Huang, Emanuele Rodolà, Simone Melzi, Maks Ovsjanikov

cs.AI

Zusammenfassung

Aktuelle Arbeiten haben gezeigt, dass uni-modale 2D-Vision- und Text-Encoder, wenn sie in großem Maßstab trainiert werden, zu gelernten Merkmalen konvergieren, die bemerkenswerte strukturelle Eigenschaften teilen, obwohl sie aus unterschiedlichen Repräsentationen stammen. Die Rolle von 3D-Encodern im Vergleich zu anderen Modalitäten bleibt jedoch unerforscht. Darüber hinaus werden bestehende 3D-Foundation-Modelle, die große Datensätze nutzen, typischerweise mit expliziten Ausrichtungszielen in Bezug auf eingefrorene Encoder aus anderen Repräsentationen trainiert. In dieser Arbeit untersuchen wir die Möglichkeit einer a-posteriori-Ausrichtung von Repräsentationen, die aus uni-modalen 3D-Encodern im Vergleich zu textbasierten Merkmalsräumen gewonnen werden. Wir zeigen, dass eine naive Nachtrainings-Merkmalausrichtung von uni-modalen Text- und 3D-Encodern zu begrenzter Leistung führt. Anschließend konzentrieren wir uns auf die Extraktion von Unterräumen der entsprechenden Merkmalsräume und entdecken, dass durch die Projektion gelernte Repräsentationen auf gut gewählte niedrigdimensionale Unterräume die Qualität der Ausrichtung signifikant höher wird, was zu verbesserter Genauigkeit bei Matching- und Retrieval-Aufgaben führt. Unsere Analyse beleuchtet weiterhin die Natur dieser gemeinsamen Unterräume, die grob zwischen semantischen und geometrischen Datenrepräsentationen unterscheiden. Insgesamt ist unsere Arbeit die erste, die eine Grundlage für die Nachtrainings-Ausrichtung von 3D-uni-modalen und Text-Merkmalräumen schafft und sowohl die gemeinsamen als auch die einzigartigen Eigenschaften von 3D-Daten im Vergleich zu anderen Repräsentationen hervorhebt.

English

Recent works have shown that, when trained at scale, uni-modal 2D vision and text encoders converge to learned features that share remarkable structural properties, despite arising from different representations. However, the role of 3D encoders with respect to other modalities remains unexplored. Furthermore, existing 3D foundation models that leverage large datasets are typically trained with explicit alignment objectives with respect to frozen encoders from other representations. In this work, we investigate the possibility of a posteriori alignment of representations obtained from uni-modal 3D encoders compared to text-based feature spaces. We show that naive post-training feature alignment of uni-modal text and 3D encoders results in limited performance. We then focus on extracting subspaces of the corresponding feature spaces and discover that by projecting learned representations onto well-chosen lower-dimensional subspaces the quality of alignment becomes significantly higher, leading to improved accuracy on matching and retrieval tasks. Our analysis further sheds light on the nature of these shared subspaces, which roughly separate between semantic and geometric data representations. Overall, ours is the first work that helps to establish a baseline for post-training alignment of 3D uni-modal and text feature spaces, and helps to highlight both the shared and unique properties of 3D data compared to other representations.