MVPaint: 3D 물체에 대해 그림을 그리기 위한 동기화된 다중 뷰 확산

MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D

November 4, 2024

저자: Wei Cheng, Juncheng Mu, Xianfang Zeng, Xin Chen, Anqi Pang, Chi Zhang, Zhibin Wang, Bin Fu, Gang Yu, Ziwei Liu, Liang Pan

cs.AI

초록

텍스처링은 3D 에셋 제작 워크플로우에서 중요한 단계로, 3D 에셋의 시각적 매력과 다양성을 향상시킵니다. 최근의 Text-to-Texture (T2T) 생성 기술의 발전에도 불구하고, 기존 방법들은 종종 지역적 불연속성, 여러 뷰 간 불일치, 그리고 UV 언랩핑 결과에 대한 강한 의존으로 인해 부적합한 결과물을 얻는 경우가 많습니다. 이러한 도전에 대처하기 위해, 우리는 MVPaint라는 새로운 생성-정제 3D 텍스처링 프레임워크를 제안합니다. 이 프레임워크는 고해상도의 매끄러운 텍스처를 생성하면서 다뷰 일관성을 강조합니다. MVPaint는 주로 세 가지 주요 모듈로 구성됩니다. 1) 동기화된 다뷰 생성 (SMG). 3D 메쉬 모델을 입력으로 받아, MVPaint는 먼저 SMG 모델을 활용하여 동시에 다뷰 이미지를 생성하고, 미관이 부족한 부분을 그림이 그려지지 않은 채로 거친 텍스처링 결과를 얻습니다. 2) 공간 인식 3D 보정 (S3I). 완전한 3D 텍스처링을 보장하기 위해, 우리는 이전에 관측되지 않은 영역을 효과적으로 텍스처링하기 위해 특별히 설계된 S3I 방법을 소개합니다. 3) UV 정제 (UVR). 더불어, MVPaint는 UV 공간에서 텍스처 품질을 향상시키기 위해 UVR 모듈을 사용합니다. 이 모듈은 먼저 UV 공간 초해상도를 수행하고, 이어서 UV 언랩핑에 의해 발생한 공간 텍스처링 불연속성을 수정하기 위한 공간 인식 실선 평활화 알고리즘을 수행합니다. 더불어, 우리는 Objaverse 데이터셋에서 선택한 고품질 3D 메쉬를 기반으로 한 Objaverse T2T 벤치마크와 전체 GSO 데이터셋을 기반으로 한 GSO T2T 벤치마크를 수립합니다. 광범위한 실험 결과는 MVPaint가 기존 최첨단 기법을 능가함을 입증합니다. 특히, MVPaint는 최소한의 Janus 문제와 높은 수준의 교차 뷰 일관성을 갖춘 고품질 텍스처를 생성할 수 있었습니다.

English

Texturing is a crucial step in the 3D asset production workflow, which enhances the visual appeal and diversity of 3D assets. Despite recent advancements in Text-to-Texture (T2T) generation, existing methods often yield subpar results, primarily due to local discontinuities, inconsistencies across multiple views, and their heavy dependence on UV unwrapping outcomes. To tackle these challenges, we propose a novel generation-refinement 3D texturing framework called MVPaint, which can generate high-resolution, seamless textures while emphasizing multi-view consistency. MVPaint mainly consists of three key modules. 1) Synchronized Multi-view Generation (SMG). Given a 3D mesh model, MVPaint first simultaneously generates multi-view images by employing an SMG model, which leads to coarse texturing results with unpainted parts due to missing observations. 2) Spatial-aware 3D Inpainting (S3I). To ensure complete 3D texturing, we introduce the S3I method, specifically designed to effectively texture previously unobserved areas. 3) UV Refinement (UVR). Furthermore, MVPaint employs a UVR module to improve the texture quality in the UV space, which first performs a UV-space Super-Resolution, followed by a Spatial-aware Seam-Smoothing algorithm for revising spatial texturing discontinuities caused by UV unwrapping. Moreover, we establish two T2T evaluation benchmarks: the Objaverse T2T benchmark and the GSO T2T benchmark, based on selected high-quality 3D meshes from the Objaverse dataset and the entire GSO dataset, respectively. Extensive experimental results demonstrate that MVPaint surpasses existing state-of-the-art methods. Notably, MVPaint could generate high-fidelity textures with minimal Janus issues and highly enhanced cross-view consistency.