3DTopia-XL: 원시 확산을 통한 고품질 3D 에셋 생성 규모 확장

3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion

September 19, 2024

저자: Zhaoxi Chen, Jiaxiang Tang, Yuhao Dong, Ziang Cao, Fangzhou Hong, Yushi Lan, Tengfei Wang, Haozhe Xie, Tong Wu, Shunsuke Saito, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

초록

다양한 산업 분야에서 고품질 3D 에셋에 대한 수요가 증가함에 따라 효율적이고 자동화된 3D 콘텐츠 생성이 필요합니다. 최근 3D 생성 모델의 발전에도 불구하고, 기존 방법은 최적화 속도, 기하학적 충실성, 물리 기반 렌더링 (PBR)을 위한 에셋 부족 등의 문제에 직면하고 있습니다. 본 논문에서는 이러한 제한을 극복하기 위해 설계된 확장 가능한 원시 3D 생성 모델인 3DTopia-XL을 소개합니다. 3DTopia-XL은 상세한 형상, 알베도, 및 재질 필드를 압축된 텐서 형식으로 인코딩하는 새로운 원시 기반 3D 표현인 PrimX를 활용하여 고해상도 지오메트리와 PBR 에셋의 모델링을 용이하게 합니다. 새로운 표현 위에, 우리는 Diffusion Transformer (DiT)를 기반으로 한 생성적 프레임워크를 제안합니다. 이는 1) 원시 패치 압축, 2) 잠재 원시 확산으로 구성됩니다. 3DTopia-XL은 텍스트 또는 시각적 입력으로부터 고품질 3D 에셋을 생성하는 방법을 학습합니다. 우리는 3DTopia-XL이 세밀한 질감과 재질을 갖는 고품질 3D 에셋을 생성하는 데 기존 방법을 크게 능가함을 보여주기 위해 광범위한 질적 및 양적 실험을 실시합니다. 이를 통해 생성 모델과 실제 응용 프로그램 사이의 품질 차이를 효율적으로 줄이는 것을 확인합니다.

English

The increasing demand for high-quality 3D assets across various industries necessitates efficient and automated 3D content creation. Despite recent advancements in 3D generative models, existing methods still face challenges with optimization speed, geometric fidelity, and the lack of assets for physically based rendering (PBR). In this paper, we introduce 3DTopia-XL, a scalable native 3D generative model designed to overcome these limitations. 3DTopia-XL leverages a novel primitive-based 3D representation, PrimX, which encodes detailed shape, albedo, and material field into a compact tensorial format, facilitating the modeling of high-resolution geometry with PBR assets. On top of the novel representation, we propose a generative framework based on Diffusion Transformer (DiT), which comprises 1) Primitive Patch Compression, 2) and Latent Primitive Diffusion. 3DTopia-XL learns to generate high-quality 3D assets from textual or visual inputs. We conduct extensive qualitative and quantitative experiments to demonstrate that 3DTopia-XL significantly outperforms existing methods in generating high-quality 3D assets with fine-grained textures and materials, efficiently bridging the quality gap between generative models and real-world applications.