CaPa: 効率的な4Kテクスチャメッシュ生成のためのCarve-n-Paint合成

CaPa: Carve-n-Paint Synthesis for Efficient 4K Textured Mesh Generation

January 16, 2025

著者: Hwan Heo, Jangyeong Kim, Seongyeong Lee, Jeong A Wi, Junyoung Choi, Sangjun Ahn

cs.AI

要旨

テキストやビジュアル入力から高品質な3Dアセットを合成することは、現代の生成モデリングにおける中心的な目標となっています。3D生成アルゴリズムが増加しているものの、それらはしばしば多視点の不一致、遅い生成時間、低い忠実度、および表面再構築の問題に苦しんでいます。これらの問題のいくつかは一部の研究で取り組まれていますが、包括的な解決策はまだ見つかっていません。本論文では、高忠実度な3Dアセットを効率的に生成するCarve-and-Paint（CaPa）フレームワークを紹介します。CaPaは、ジオメトリ生成とテクスチャ合成を分離した2段階プロセスを採用しています。最初に、3D潜在拡散モデルがマルチビュー入力によって誘導されたジオメトリを生成し、視点間で構造的一貫性を確保します。その後、新しいモデルに依存しない空間的に分離された注意を活用して、フレームワークは指定されたジオメトリに対して高解像度（最大4K）のテクスチャを合成します。さらに、未テクスチャ領域を埋める3D認識オクルージョンインペインティングアルゴリズムを提案し、モデル全体で一貫した結果を生み出します。このパイプラインは、30秒未満で高品質な3Dアセットを生成し、商業用アプリケーションに使用できる出力を提供します。実験結果は、CaPaがテクスチャの忠実度と幾何学的安定性の両方で優れており、実用的でスケーラブルな3Dアセット生成の新基準を確立しています。

English

The synthesis of high-quality 3D assets from textual or visual inputs has become a central objective in modern generative modeling. Despite the proliferation of 3D generation algorithms, they frequently grapple with challenges such as multi-view inconsistency, slow generation times, low fidelity, and surface reconstruction problems. While some studies have addressed some of these issues, a comprehensive solution remains elusive. In this paper, we introduce CaPa, a carve-and-paint framework that generates high-fidelity 3D assets efficiently. CaPa employs a two-stage process, decoupling geometry generation from texture synthesis. Initially, a 3D latent diffusion model generates geometry guided by multi-view inputs, ensuring structural consistency across perspectives. Subsequently, leveraging a novel, model-agnostic Spatially Decoupled Attention, the framework synthesizes high-resolution textures (up to 4K) for a given geometry. Furthermore, we propose a 3D-aware occlusion inpainting algorithm that fills untextured regions, resulting in cohesive results across the entire model. This pipeline generates high-quality 3D assets in less than 30 seconds, providing ready-to-use outputs for commercial applications. Experimental results demonstrate that CaPa excels in both texture fidelity and geometric stability, establishing a new standard for practical, scalable 3D asset generation.