TEXGen: 메쉬 텍스처를 위한 생성 확산 모델

초록

고품질 질감 맵은 현실적인 3D 자산 렌더링에 필수적이지만 대규모 데이터셋에서 직접적으로 텍스처 공간에서 학습하는 연구는 거의 없습니다. 본 연구에서는 3D 텍스처의 시험 시간 최적화를 위해 사전 훈련된 2D 확산 모델에 의존하는 관행적 접근에서 벗어나 텍스처 공간 자체에서의 학습이라는 근본적인 문제에 초점을 맞춥니다. 우리는 처음으로 대규모 확산 모델을 훈련하여 피드포워드 방식으로 고해상도 텍스처 맵을 직접 생성할 수 있도록 합니다. 고해상도 UV 공간에서 효율적인 학습을 돕기 위해 점군에 대한 어텐션 레이어와 UV 맵에 대한 합성곱을 교차하는 확장 가능한 네트워크 아키텍처를 제안합니다. 이 아키텍처 디자인을 활용하여 텍스트 프롬프트와 단일 뷰 이미지에 따라 유도된 UV 텍스처 맵을 생성할 수 있는 7억 개의 파라미터 확산 모델을 훈련합니다. 훈련된 후에는 우리 모델이 텍스트로 안내되는 텍스처 인페인팅, 희소한 뷰 텍스처 완성, 텍스트 기반 텍스처 합성을 포함한 다양한 응용 프로그램을 자연스럽게 지원합니다. 프로젝트 페이지는 http://cvmi-lab.github.io/TEXGen/에서 확인할 수 있습니다.

English

While high-quality texture maps are essential for realistic 3D asset rendering, few studies have explored learning directly in the texture space, especially on large-scale datasets. In this work, we depart from the conventional approach of relying on pre-trained 2D diffusion models for test-time optimization of 3D textures. Instead, we focus on the fundamental problem of learning in the UV texture space itself. For the first time, we train a large diffusion model capable of directly generating high-resolution texture maps in a feed-forward manner. To facilitate efficient learning in high-resolution UV spaces, we propose a scalable network architecture that interleaves convolutions on UV maps with attention layers on point clouds. Leveraging this architectural design, we train a 700 million parameter diffusion model that can generate UV texture maps guided by text prompts and single-view images. Once trained, our model naturally supports various extended applications, including text-guided texture inpainting, sparse-view texture completion, and text-driven texture synthesis. Project page is at http://cvmi-lab.github.io/TEXGen/.

TEXGen: 메쉬 텍스처를 위한 생성 확산 모델

TEXGen: a Generative Diffusion Model for Mesh Textures

초록

Summary

Support