MVPaint: Synchronisierte Multi-View-Diffusion zum Malen von beliebigen 3D-Objekten

MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D

November 4, 2024

Autoren: Wei Cheng, Juncheng Mu, Xianfang Zeng, Xin Chen, Anqi Pang, Chi Zhang, Zhibin Wang, Bin Fu, Gang Yu, Ziwei Liu, Liang Pan

cs.AI

Zusammenfassung

Die Texturierung ist ein entscheidender Schritt im 3D-Asset-Produktionsworkflow, der die visuelle Attraktivität und Vielfalt von 3D-Assets verbessert. Trotz der jüngsten Fortschritte bei der Text-in-Textur (T2T)-Generierung liefern bestehende Methoden oft unterdurchschnittliche Ergebnisse, hauptsächlich aufgrund lokaler Diskontinuitäten, Inkonsistenzen über mehrere Ansichten hinweg und ihrer starken Abhängigkeit von den Ergebnissen des UV-Entfaltens. Um diese Herausforderungen anzugehen, schlagen wir ein neuartiges Generierungs-Verfeinerungs-3D-Texturierungsframework namens MVPaint vor, das hochauflösende, nahtlose Texturen generieren kann, wobei die Konsistenz über mehrere Ansichten betont wird. MVPaint besteht hauptsächlich aus drei Schlüsselmodulen. 1) Synchronisierte Multi-View-Generierung (SMG). MVPaint generiert zunächst gleichzeitig Multi-View-Bilder, indem ein SMG-Modell auf ein 3D-Mesh-Modell angewendet wird, was zu groben Texturierungsergebnissen mit unpainted Teilen aufgrund fehlender Beobachtungen führt. 2) Räumlich-orientiertes 3D-Inpainting (S3I). Um eine vollständige 3D-Texturierung sicherzustellen, führen wir die S3I-Methode ein, die speziell entwickelt wurde, um effektiv Bereiche zu texturieren, die zuvor nicht beobachtet wurden. 3) UV-Verfeinerung (UVR). Darüber hinaus verwendet MVPaint ein UVR-Modul, um die Texturqualität im UV-Raum zu verbessern, das zunächst eine UV-Raum-Super-Auflösung durchführt, gefolgt von einem räumlich-orientierten Nahtglättungsalgorithmus zur Überarbeitung von räumlichen Texturierungsinkonsistenzen, die durch das UV-Entfalten verursacht wurden. Darüber hinaus etablieren wir zwei T2T-Evaluierungsbenchmarks: den Objaverse T2T-Benchmark und den GSO T2T-Benchmark, basierend auf ausgewählten hochwertigen 3D-Meshes aus dem Objaverse-Datensatz und dem gesamten GSO-Datensatz, jeweils. Umfangreiche experimentelle Ergebnisse zeigen, dass MVPaint bestehende State-of-the-Art-Methoden übertrifft. Insbesondere konnte MVPaint hochwertige Texturen mit minimalen Janus-Problemen und stark verbesserten Konsistenzen über verschiedene Ansichten hinweg generieren.

English

Texturing is a crucial step in the 3D asset production workflow, which enhances the visual appeal and diversity of 3D assets. Despite recent advancements in Text-to-Texture (T2T) generation, existing methods often yield subpar results, primarily due to local discontinuities, inconsistencies across multiple views, and their heavy dependence on UV unwrapping outcomes. To tackle these challenges, we propose a novel generation-refinement 3D texturing framework called MVPaint, which can generate high-resolution, seamless textures while emphasizing multi-view consistency. MVPaint mainly consists of three key modules. 1) Synchronized Multi-view Generation (SMG). Given a 3D mesh model, MVPaint first simultaneously generates multi-view images by employing an SMG model, which leads to coarse texturing results with unpainted parts due to missing observations. 2) Spatial-aware 3D Inpainting (S3I). To ensure complete 3D texturing, we introduce the S3I method, specifically designed to effectively texture previously unobserved areas. 3) UV Refinement (UVR). Furthermore, MVPaint employs a UVR module to improve the texture quality in the UV space, which first performs a UV-space Super-Resolution, followed by a Spatial-aware Seam-Smoothing algorithm for revising spatial texturing discontinuities caused by UV unwrapping. Moreover, we establish two T2T evaluation benchmarks: the Objaverse T2T benchmark and the GSO T2T benchmark, based on selected high-quality 3D meshes from the Objaverse dataset and the entire GSO dataset, respectively. Extensive experimental results demonstrate that MVPaint surpasses existing state-of-the-art methods. Notably, MVPaint could generate high-fidelity textures with minimal Janus issues and highly enhanced cross-view consistency.