HoloPart: Segmentazione Amodale di Parti 3D Generativa

HoloPart: Generative 3D Part Amodal Segmentation

April 10, 2025

Autori: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu

cs.AI

Abstract

La segmentazione amodale di parti 3D--decomporre una forma 3D in parti complete e semanticamente significative, anche quando sono occluse--è un compito impegnativo ma cruciale per la creazione e la comprensione di contenuti 3D. I metodi esistenti di segmentazione di parti 3D identificano solo le patch superficiali visibili, limitandone l'utilità. Ispirati dalla segmentazione amodale 2D, introduciamo questo nuovo compito nel dominio 3D e proponiamo un approccio pratico in due fasi, affrontando le principali sfide dell'inferenza della geometria 3D occlusa, del mantenimento della coerenza globale della forma e della gestione di forme diverse con dati di addestramento limitati. In primo luogo, sfruttiamo la segmentazione di parti 3D esistente per ottenere segmenti iniziali incompleti. In secondo luogo, introduciamo HoloPart, un nuovo modello basato sulla diffusione, per completare questi segmenti in parti 3D complete. HoloPart utilizza un'architettura specializzata con attenzione locale per catturare la geometria fine delle parti e attenzione al contesto globale della forma per garantire la coerenza complessiva della forma. Introduciamo nuovi benchmark basati sui dataset ABO e PartObjaverse-Tiny e dimostriamo che HoloPart supera significativamente i metodi all'avanguardia per il completamento delle forme. Incorporando HoloPart con le tecniche di segmentazione esistenti, otteniamo risultati promettenti nella segmentazione amodale di parti 3D, aprendo nuove strade per applicazioni nell'editing geometrico, nell'animazione e nell'assegnazione di materiali.

English

3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.