Hunyuan3D 2.0: 고해상도 질감 3D 자산 생성을 위한 확장된 확산 모델

Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation

January 21, 2025

저자: Zibo Zhao, Zeqiang Lai, Qingxiang Lin, Yunfei Zhao, Haolin Liu, Shuhui Yang, Yifei Feng, Mingxin Yang, Sheng Zhang, Xianghui Yang, Huiwen Shi, Sicong Liu, Junta Wu, Yihang Lian, Fan Yang, Ruining Tang, Zebin He, Xinzhou Wang, Jian Liu, Xuhui Zuo, Zhuo Chen, Biwen Lei, Haohan Weng, Jing Xu, Yiling Zhu, Xinhai Liu, Lixin Xu, Changrong Hu, Tianyu Huang, Lifu Wang, Jihong Zhang, Meng Chen, Liang Dong, Yiwen Jia, Yulin Cai, Jiaao Yu, Yixuan Tang, Hao Zhang, Zheng Ye, Peng He, Runzhou Wu, Chao Zhang, Yonghao Tan, Jie Xiao, Yangyu Tao, Jianchen Zhu, Jinbao Xue, Kai Liu, Chongqing Zhao, Xinming Wu, Zhichao Hu, Lei Qin, Jianbing Peng, Zhan Li, Minghui Chen, Xipeng Zhang, Lin Niu, Paige Wang, Yingkai Wang, Haozhao Kuang, Zhongyi Fan, Xu Zheng, Weihao Zhuang, YingPing He, Tian Liu, Yong Yang, Di Wang, Yuhong Liu, Jie Jiang, Jingwei Huang, Chunchao Guo

cs.AI

초록

우리는 고해상도 질감 3D 에셋을 생성하는 고급 대규모 3D 합성 시스템인 Hunyuan3D 2.0을 제시합니다. 이 시스템은 두 가지 기본 구성 요소를 포함합니다: 대규모 형상 생성 모델인 Hunyuan3D-DiT와 대규모 질감 합성 모델인 Hunyuan3D-Paint. 확장 가능한 플로우 기반 확산 트랜스포머에 기반을 둔 형상 생성 모델은 주어진 조건 이미지와 적절하게 정렬된 지오메트리를 생성하여 하류 응용 프로그램을 위한 견고한 기초를 제공하는 것을 목표로 합니다. 강력한 기하학적 및 확산 사전 지식을 활용하는 질감 합성 모델은 생성된 메쉬나 수동으로 제작된 메쉬에 대해 고해상도와 생동감 있는 질감 맵을 생성합니다. 더불어, 우리는 Hunyuan3D-Studio를 구축했는데, 이는 3D 에셋의 재창조 과정을 간소화하는 다목적이고 사용자 친화적인 제작 플랫폼입니다. 이를 통해 전문가와 아마추어 사용자 모두가 자신의 메쉬를 효율적으로 조작하거나 애니메이션화할 수 있습니다. 우리는 체계적으로 모델을 평가하며, Hunyuan3D 2.0이 기하학 세부 정보, 조건 정렬, 질감 품질 등에서 공개 소스 모델 및 폐쇄 소스 모델을 포함한 이전 최첨단 모델들을 능가함을 보여줍니다. Hunyuan3D 2.0은 대규모 기반 생성 모델에 대한 오픈 소스 3D 커뮤니티의 공백을 메우기 위해 공개적으로 공개되었습니다. 우리 모델의 코드와 사전 훈련된 가중치는 다음에서 확인할 수 있습니다: https://github.com/Tencent/Hunyuan3D-2

English

We present Hunyuan3D 2.0, an advanced large-scale 3D synthesis system for generating high-resolution textured 3D assets. This system includes two foundation components: a large-scale shape generation model -- Hunyuan3D-DiT, and a large-scale texture synthesis model -- Hunyuan3D-Paint. The shape generative model, built on a scalable flow-based diffusion transformer, aims to create geometry that properly aligns with a given condition image, laying a solid foundation for downstream applications. The texture synthesis model, benefiting from strong geometric and diffusion priors, produces high-resolution and vibrant texture maps for either generated or hand-crafted meshes. Furthermore, we build Hunyuan3D-Studio -- a versatile, user-friendly production platform that simplifies the re-creation process of 3D assets. It allows both professional and amateur users to manipulate or even animate their meshes efficiently. We systematically evaluate our models, showing that Hunyuan3D 2.0 outperforms previous state-of-the-art models, including the open-source models and closed-source models in geometry details, condition alignment, texture quality, and etc. Hunyuan3D 2.0 is publicly released in order to fill the gaps in the open-source 3D community for large-scale foundation generative models. The code and pre-trained weights of our models are available at: https://github.com/Tencent/Hunyuan3D-2