MVPaint: Gesynchroniseerde Multi-View Diffusie voor het Schilderen van Willekeurige 3D Objecten

MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D

November 4, 2024

Auteurs: Wei Cheng, Juncheng Mu, Xianfang Zeng, Xin Chen, Anqi Pang, Chi Zhang, Zhibin Wang, Bin Fu, Gang Yu, Ziwei Liu, Liang Pan

cs.AI

Samenvatting

Texturering is een cruciale stap in de 3D-assetproductieworkflow, die de visuele aantrekkingskracht en diversiteit van 3D-assets verbetert. Ondanks recente vooruitgang in Tekst-naar-Textuur (T2T) generatie, leveren bestaande methoden vaak ondermaatse resultaten op, voornamelijk vanwege lokale discontinuïteiten, inconsistenties over meerdere weergaven en hun sterke afhankelijkheid van UV-uitpakkingsresultaten. Om deze uitdagingen aan te pakken, stellen we een nieuw generatie-verfijning 3D-textureringskader voor genaamd MVPaint, dat hoogwaardige, naadloze texturen kan genereren met nadruk op multi-weergave consistentie. MVPaint bestaat voornamelijk uit drie belangrijke modules. 1) Gesynchroniseerde Multi-weergave Generatie (SMG). Gegeven een 3D-meshmodel genereert MVPaint eerst gelijktijdig multi-weergave beelden door gebruik te maken van een SMG-model, wat leidt tot grove textureringsresultaten met onbeschilderde delen als gevolg van ontbrekende observaties. 2) Ruimtebewuste 3D-Inpainting (S3I). Om volledige 3D-texturering te garanderen, introduceren we de S3I-methode, speciaal ontworpen om effectief texturen aan te brengen op eerder onwaargenomen gebieden. 3) UV-Verfijning (UVR). Bovendien maakt MVPaint gebruik van een UVR-module om de textuurkwaliteit in de UV-ruimte te verbeteren, die eerst een UV-ruimte Super-Resolutie uitvoert, gevolgd door een Ruimtebewust Naad-Gladstrijk algoritme voor het herzien van ruimtelijke textuurdiscontinuïteiten veroorzaakt door UV-uitpakking. Bovendien stellen we twee T2T-evaluatiebenchmarks vast: de Objaverse T2T-benchmark en de GSO T2T-benchmark, gebaseerd op geselecteerde hoogwaardige 3D-meshes uit de Objaverse dataset en de volledige GSO dataset, respectievelijk. Uitgebreide experimentele resultaten tonen aan dat MVPaint bestaande state-of-the-art methoden overtreft. Met name kon MVPaint hoogwaardige texturen genereren met minimale Janus-problemen en zeer verbeterde cross-view consistentie.

English

Texturing is a crucial step in the 3D asset production workflow, which enhances the visual appeal and diversity of 3D assets. Despite recent advancements in Text-to-Texture (T2T) generation, existing methods often yield subpar results, primarily due to local discontinuities, inconsistencies across multiple views, and their heavy dependence on UV unwrapping outcomes. To tackle these challenges, we propose a novel generation-refinement 3D texturing framework called MVPaint, which can generate high-resolution, seamless textures while emphasizing multi-view consistency. MVPaint mainly consists of three key modules. 1) Synchronized Multi-view Generation (SMG). Given a 3D mesh model, MVPaint first simultaneously generates multi-view images by employing an SMG model, which leads to coarse texturing results with unpainted parts due to missing observations. 2) Spatial-aware 3D Inpainting (S3I). To ensure complete 3D texturing, we introduce the S3I method, specifically designed to effectively texture previously unobserved areas. 3) UV Refinement (UVR). Furthermore, MVPaint employs a UVR module to improve the texture quality in the UV space, which first performs a UV-space Super-Resolution, followed by a Spatial-aware Seam-Smoothing algorithm for revising spatial texturing discontinuities caused by UV unwrapping. Moreover, we establish two T2T evaluation benchmarks: the Objaverse T2T benchmark and the GSO T2T benchmark, based on selected high-quality 3D meshes from the Objaverse dataset and the entire GSO dataset, respectively. Extensive experimental results demonstrate that MVPaint surpasses existing state-of-the-art methods. Notably, MVPaint could generate high-fidelity textures with minimal Janus issues and highly enhanced cross-view consistency.