PartGen: Generazione e Ricostruzione 3D a Livello di Parti con Modelli di Diffusione Multi-View

PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models

December 24, 2024

Autori: Minghao Chen, Roman Shapovalov, Iro Laina, Tom Monnier, Jianyuan Wang, David Novotny, Andrea Vedaldi

cs.AI

Abstract

I generatori di testo o immagini in 3D e gli scanner 3D possono ora produrre asset in 3D con forme e texture di alta qualità. Questi asset consistono tipicamente in una singola rappresentazione fusa, come un campo neurale implicito, una miscela gaussiana o una mesh, senza alcuna struttura utile. Tuttavia, la maggior parte delle applicazioni e dei flussi di lavoro creativi richiedono che gli asset siano composti da diverse parti significative che possono essere manipulate indipendentemente. Per affrontare questa lacuna, presentiamo PartGen, un nuovo approccio che genera oggetti in 3D composti da parti significative a partire da testo, un'immagine o un oggetto 3D non strutturato. Innanzitutto, date varie viste di un oggetto 3D, generate o renderizzate, un modello di diffusione multi-vista estrae un insieme di segmentazioni di parti plausibili e coerenti con le viste, dividendo l'oggetto in parti. Successivamente, un secondo modello di diffusione multi-vista prende ciascuna parte separatamente, riempie le occlusioni e utilizza quelle viste completate per la ricostruzione 3D alimentandole a una rete di ricostruzione 3D. Questo processo di completamento tiene conto del contesto dell'intero oggetto per garantire che le parti si integrino in modo coeso. Il modello generativo di completamento può compensare le informazioni mancanti a causa delle occlusioni; nei casi estremi, può creare parti interamente invisibili basandosi sull'asset 3D di input. Valutiamo il nostro metodo su asset 3D generati e reali e mostriamo che supera di gran lunga i baselines di segmentazione ed estrazione delle parti. Mostriamo inoltre applicazioni successive come la modifica delle parti in 3D.

English

Text- or image-to-3D generators and 3D scanners can now produce 3D assets with high-quality shapes and textures. These assets typically consist of a single, fused representation, like an implicit neural field, a Gaussian mixture, or a mesh, without any useful structure. However, most applications and creative workflows require assets to be made of several meaningful parts that can be manipulated independently. To address this gap, we introduce PartGen, a novel approach that generates 3D objects composed of meaningful parts starting from text, an image, or an unstructured 3D object. First, given multiple views of a 3D object, generated or rendered, a multi-view diffusion model extracts a set of plausible and view-consistent part segmentations, dividing the object into parts. Then, a second multi-view diffusion model takes each part separately, fills in the occlusions, and uses those completed views for 3D reconstruction by feeding them to a 3D reconstruction network. This completion process considers the context of the entire object to ensure that the parts integrate cohesively. The generative completion model can make up for the information missing due to occlusions; in extreme cases, it can hallucinate entirely invisible parts based on the input 3D asset. We evaluate our method on generated and real 3D assets and show that it outperforms segmentation and part-extraction baselines by a large margin. We also showcase downstream applications such as 3D part editing.