Sonata: Selbstüberwachtes Lernen zuverlässiger Punktrepräsentationen

Sonata: Self-Supervised Learning of Reliable Point Representations

March 20, 2025

Autoren: Xiaoyang Wu, Daniel DeTone, Duncan Frost, Tianwei Shen, Chris Xie, Nan Yang, Jakob Engel, Richard Newcombe, Hengshuang Zhao, Julian Straub

cs.AI

Zusammenfassung

In diesem Artikel stellen wir die Frage, ob wir ein zuverlässiges, selbstüberwachtes Punktwolkenmodell haben, das für verschiedene 3D-Aufgaben durch einfaches lineares Probing verwendet werden kann, selbst bei begrenzten Daten und minimalem Rechenaufwand. Wir stellen fest, dass bestehende Ansätze des selbstüberwachten Lernens in 3D bei der Bewertung der Repräsentationsqualität durch lineares Probing nicht überzeugen. Wir vermuten, dass dies auf das zurückzuführen ist, was wir als „geometrische Abkürzung“ bezeichnen, die dazu führt, dass Repräsentationen auf niedrige räumliche Merkmale kollabieren. Diese Herausforderung ist einzigartig für 3D und ergibt sich aus der spärlichen Natur von Punktwolkendaten. Wir begegnen ihr durch zwei Schlüsselstrategien: die Verschleierung räumlicher Informationen und die Stärkung der Abhängigkeit von Eingabemerkmalen, wodurch letztendlich eine Sonata von 140k Punktwolken durch Selbst-Distillation komponiert wird. Sonata ist einfach und intuitiv, doch die gelernten Repräsentationen sind stark und zuverlässig: Zero-Shot-Visualisierungen zeigen semantische Gruppierungen sowie ein starkes räumliches Verständnis durch Nearest-Neighbor-Beziehungen. Sonata zeigt eine außergewöhnliche Parameter- und Dateneffizienz, verdreifacht die Genauigkeit beim linearen Probing (von 21,8 % auf 72,5 %) auf ScanNet und verdoppelt nahezu die Leistung mit nur 1 % der Daten im Vergleich zu früheren Ansätzen. Vollständiges Fine-Tuning führt weiterhin zu State-of-the-Art-Ergebnissen bei sowohl 3D-Innenraum- als auch Außenraum-Wahrnehmungsaufgaben.

English

In this paper, we question whether we have a reliable self-supervised point cloud model that can be used for diverse 3D tasks via simple linear probing, even with limited data and minimal computation. We find that existing 3D self-supervised learning approaches fall short when evaluated on representation quality through linear probing. We hypothesize that this is due to what we term the "geometric shortcut", which causes representations to collapse to low-level spatial features. This challenge is unique to 3D and arises from the sparse nature of point cloud data. We address it through two key strategies: obscuring spatial information and enhancing the reliance on input features, ultimately composing a Sonata of 140k point clouds through self-distillation. Sonata is simple and intuitive, yet its learned representations are strong and reliable: zero-shot visualizations demonstrate semantic grouping, alongside strong spatial reasoning through nearest-neighbor relationships. Sonata demonstrates exceptional parameter and data efficiency, tripling linear probing accuracy (from 21.8% to 72.5%) on ScanNet and nearly doubling performance with only 1% of the data compared to previous approaches. Full fine-tuning further advances SOTA across both 3D indoor and outdoor perception tasks.