절차적 3D 프로그램으로부터 3D 표현 학습

Learning 3D Representations from Procedural 3D Programs

November 25, 2024

저자: Xuweiyi Chen, Zezhou Cheng

cs.AI

초록

자가 지도 학습은 라벨이 지정되지 않은 3D 포인트 클라우드로부터 이동 가능한 3D 표현을 획득하는 유망한 방법으로 등장했습니다. 2D 이미지와는 달리 3D 자산을 획득하는 것은 전문 지식이나 전문적인 3D 스캐닝 장비가 필요하여 규모를 확장하기 어렵게 만들고 저작권 문제를 제기합니다. 이러한 도전에 대처하기 위해 우리는 간단한 기본 요소와 보완을 사용하여 자동으로 3D 모양을 생성하는 절차적 3D 프로그램으로부터 3D 표현을 학습하는 것을 제안합니다. 놀랍게도 의미적 콘텐츠가 없음에도 불구하고, 이 합성된 데이터셋으로부터 학습된 3D 표현은 다양한 하류 3D 작업(예: 모양 분류, 부분 분할 및 마스크된 포인트 클라우드 완성)에서 의미적으로 인식 가능한 3D 모델(예: 비행기)로부터 학습된 최첨단 표현과 동등한 성능을 발휘합니다. 우리의 분석은 현재의 자가 지도 학습 방법이 주로 고수준 의미보다는 기하학적 구조를 주로 포착한다는 것을 더욱 제안합니다.

English

Self-supervised learning has emerged as a promising approach for acquiring transferable 3D representations from unlabeled 3D point clouds. Unlike 2D images, which are widely accessible, acquiring 3D assets requires specialized expertise or professional 3D scanning equipment, making it difficult to scale and raising copyright concerns. To address these challenges, we propose learning 3D representations from procedural 3D programs that automatically generate 3D shapes using simple primitives and augmentations. Remarkably, despite lacking semantic content, the 3D representations learned from this synthesized dataset perform on par with state-of-the-art representations learned from semantically recognizable 3D models (e.g., airplanes) across various downstream 3D tasks, including shape classification, part segmentation, and masked point cloud completion. Our analysis further suggests that current self-supervised learning methods primarily capture geometric structures rather than high-level semantics.