Modellazione di Scene Maschera: Ridurre il Divario tra Apprendimento Supervisionato e Auto-Supervisionato nella Comprensione di Scene 3D

Masked Scene Modeling: Narrowing the Gap Between Supervised and Self-Supervised Learning in 3D Scene Understanding

April 9, 2025

Autori: Pedro Hermosilla, Christian Stippel, Leon Sick

cs.AI

Abstract

L'apprendimento self-supervised ha rivoluzionato la visione artificiale 2D, consentendo a modelli addestrati su grandi dataset non annotati di fornire funzionalità versatili pronte all'uso che performano in modo simile a modelli addestrati con etichette. Tuttavia, nella comprensione delle scene 3D, i metodi self-supervised sono tipicamente utilizzati solo come passaggio di inizializzazione dei pesi per il fine-tuning specifico per un compito, limitando la loro utilità per l'estrazione di funzionalità generiche. Questo articolo affronta questa lacuna proponendo un protocollo di valutazione robusto specificamente progettato per valutare la qualità delle funzionalità self-supervised per la comprensione delle scene 3D. Il nostro protocollo utilizza il campionamento di funzionalità multi-risoluzione di modelli gerarchici per creare rappresentazioni a livello di punto ricche che catturano le capacità semantiche del modello e, quindi, sono adatte per la valutazione con metodi di linear probing e nearest-neighbor. Inoltre, introduciamo il primo modello self-supervised che performa in modo simile ai modelli supervisionati quando vengono utilizzate solo funzionalità pronte all'uso in un setup di linear probing. In particolare, il nostro modello è addestrato nativamente in 3D con un nuovo approccio self-supervised basato su un obiettivo di Masked Scene Modeling, che ricostruisce le funzionalità profonde di patch mascherate in modo bottom-up ed è specificamente adattato ai modelli gerarchici 3D. I nostri esperimenti non solo dimostrano che il nostro metodo raggiunge prestazioni competitive rispetto ai modelli supervisionati, ma supera anche gli approcci self-supervised esistenti con un ampio margine. Il modello e il codice di addestramento sono disponibili nel nostro repository Github (https://github.com/phermosilla/msm).

English

Self-supervised learning has transformed 2D computer vision by enabling models trained on large, unannotated datasets to provide versatile off-the-shelf features that perform similarly to models trained with labels. However, in 3D scene understanding, self-supervised methods are typically only used as a weight initialization step for task-specific fine-tuning, limiting their utility for general-purpose feature extraction. This paper addresses this shortcoming by proposing a robust evaluation protocol specifically designed to assess the quality of self-supervised features for 3D scene understanding. Our protocol uses multi-resolution feature sampling of hierarchical models to create rich point-level representations that capture the semantic capabilities of the model and, hence, are suitable for evaluation with linear probing and nearest-neighbor methods. Furthermore, we introduce the first self-supervised model that performs similarly to supervised models when only off-the-shelf features are used in a linear probing setup. In particular, our model is trained natively in 3D with a novel self-supervised approach based on a Masked Scene Modeling objective, which reconstructs deep features of masked patches in a bottom-up manner and is specifically tailored to hierarchical 3D models. Our experiments not only demonstrate that our method achieves competitive performance to supervised models, but also surpasses existing self-supervised approaches by a large margin. The model and training code can be found at our Github repository (https://github.com/phermosilla/msm).