PartGen: Geração e Reconstrução 3D ao Nível de Partes com Modelos de Difusão Multi-Visão

PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models

December 24, 2024

Autores: Minghao Chen, Roman Shapovalov, Iro Laina, Tom Monnier, Jianyuan Wang, David Novotny, Andrea Vedaldi

cs.AI

Resumo

Geradores de 3D a partir de texto ou imagem e scanners 3D agora podem produzir ativos 3D com formas e texturas de alta qualidade. Esses ativos geralmente consistem em uma representação única e fundida, como um campo neural implícito, uma mistura gaussiana ou uma malha, sem qualquer estrutura útil. No entanto, a maioria das aplicações e fluxos de trabalho criativos requer que os ativos sejam compostos por várias partes significativas que possam ser manipuladas independentemente. Para abordar essa lacuna, apresentamos o PartGen, uma abordagem inovadora que gera objetos 3D compostos por partes significativas a partir de texto, uma imagem ou um objeto 3D não estruturado. Primeiramente, dado múltiplas visualizações de um objeto 3D, geradas ou renderizadas, um modelo de difusão multi-visual extrai um conjunto de segmentações de partes plausíveis e consistentes com a visualização, dividindo o objeto em partes. Em seguida, um segundo modelo de difusão multi-visual leva cada parte separadamente, preenche as oclusões e utiliza essas visualizações completas para a reconstrução 3D alimentando-as em uma rede de reconstrução 3D. Esse processo de conclusão considera o contexto do objeto inteiro para garantir que as partes se integrem de forma coesa. O modelo de conclusão generativo pode compensar as informações ausentes devido às oclusões; em casos extremos, pode alucinar partes inteiramente invisíveis com base no ativo 3D de entrada. Avaliamos nosso método em ativos 3D gerados e reais e demonstramos que ele supera significativamente as bases de segmentação e extração de partes. Também apresentamos aplicações subsequentes, como edição de partes 3D.

English

Text- or image-to-3D generators and 3D scanners can now produce 3D assets with high-quality shapes and textures. These assets typically consist of a single, fused representation, like an implicit neural field, a Gaussian mixture, or a mesh, without any useful structure. However, most applications and creative workflows require assets to be made of several meaningful parts that can be manipulated independently. To address this gap, we introduce PartGen, a novel approach that generates 3D objects composed of meaningful parts starting from text, an image, or an unstructured 3D object. First, given multiple views of a 3D object, generated or rendered, a multi-view diffusion model extracts a set of plausible and view-consistent part segmentations, dividing the object into parts. Then, a second multi-view diffusion model takes each part separately, fills in the occlusions, and uses those completed views for 3D reconstruction by feeding them to a 3D reconstruction network. This completion process considers the context of the entire object to ensure that the parts integrate cohesively. The generative completion model can make up for the information missing due to occlusions; in extreme cases, it can hallucinate entirely invisible parts based on the input 3D asset. We evaluate our method on generated and real 3D assets and show that it outperforms segmentation and part-extraction baselines by a large margin. We also showcase downstream applications such as 3D part editing.