Apprendimento delle rappresentazioni 3D da programmi 3D procedurali

Learning 3D Representations from Procedural 3D Programs

November 25, 2024

Autori: Xuweiyi Chen, Zezhou Cheng

cs.AI

Abstract

L'apprendimento auto-supervisionato è emerso come un approccio promettente per acquisire rappresentazioni 3D trasferibili da nuvole di punti 3D non etichettate. A differenza delle immagini 2D, ampiamente accessibili, acquisire asset 3D richiede competenze specializzate o attrezzature professionali per la scansione 3D, rendendo difficile la scalabilità e sollevando preoccupazioni legate al copyright. Per affrontare queste sfide, proponiamo di apprendere rappresentazioni 3D da programmi 3D procedurali che generano automaticamente forme 3D utilizzando primitive semplici e aggiunte. Notevolmente, nonostante la mancanza di contenuto semantico, le rappresentazioni 3D apprese da questo dataset sintetizzato si comportano alla pari con le rappresentazioni all'avanguardia apprese da modelli 3D semanticamente riconoscibili (ad esempio, aeroplani) in vari compiti 3D successivi, tra cui classificazione delle forme, segmentazione delle parti e completamento di nuvole di punti mascherati. La nostra analisi suggerisce inoltre che i metodi attuali di apprendimento auto-supervisionato catturano principalmente strutture geometriche piuttosto che semantica di alto livello.

English

Self-supervised learning has emerged as a promising approach for acquiring transferable 3D representations from unlabeled 3D point clouds. Unlike 2D images, which are widely accessible, acquiring 3D assets requires specialized expertise or professional 3D scanning equipment, making it difficult to scale and raising copyright concerns. To address these challenges, we propose learning 3D representations from procedural 3D programs that automatically generate 3D shapes using simple primitives and augmentations. Remarkably, despite lacking semantic content, the 3D representations learned from this synthesized dataset perform on par with state-of-the-art representations learned from semantically recognizable 3D models (e.g., airplanes) across various downstream 3D tasks, including shape classification, part segmentation, and masked point cloud completion. Our analysis further suggests that current self-supervised learning methods primarily capture geometric structures rather than high-level semantics.