Hunyuan3D 2.0: Schalen van Diffusiemodellen voor het Genereren van Hoogwaardige 3D-activa met Textuur

Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation

January 21, 2025

Auteurs: Zibo Zhao, Zeqiang Lai, Qingxiang Lin, Yunfei Zhao, Haolin Liu, Shuhui Yang, Yifei Feng, Mingxin Yang, Sheng Zhang, Xianghui Yang, Huiwen Shi, Sicong Liu, Junta Wu, Yihang Lian, Fan Yang, Ruining Tang, Zebin He, Xinzhou Wang, Jian Liu, Xuhui Zuo, Zhuo Chen, Biwen Lei, Haohan Weng, Jing Xu, Yiling Zhu, Xinhai Liu, Lixin Xu, Changrong Hu, Tianyu Huang, Lifu Wang, Jihong Zhang, Meng Chen, Liang Dong, Yiwen Jia, Yulin Cai, Jiaao Yu, Yixuan Tang, Hao Zhang, Zheng Ye, Peng He, Runzhou Wu, Chao Zhang, Yonghao Tan, Jie Xiao, Yangyu Tao, Jianchen Zhu, Jinbao Xue, Kai Liu, Chongqing Zhao, Xinming Wu, Zhichao Hu, Lei Qin, Jianbing Peng, Zhan Li, Minghui Chen, Xipeng Zhang, Lin Niu, Paige Wang, Yingkai Wang, Haozhao Kuang, Zhongyi Fan, Xu Zheng, Weihao Zhuang, YingPing He, Tian Liu, Yong Yang, Di Wang, Yuhong Liu, Jie Jiang, Jingwei Huang, Chunchao Guo

cs.AI

Samenvatting

We presenteren Hunyuan3D 2.0, een geavanceerd grootschalig 3D-synthesesysteem voor het genereren van hoogwaardige 3D-assets met texturen op hoge resolutie. Dit systeem omvat twee fundamentele componenten: een grootschalig vormgeneratiemodel - Hunyuan3D-DiT, en een grootschalig textuursynthesemodel - Hunyuan3D-Paint. Het vormgeneratiemodel, gebouwd op een schaalbare op stromen gebaseerde diffusietransformer, heeft als doel geometrie te creëren die goed aansluit bij een gegeven conditiebeeld, waardoor een solide basis wordt gelegd voor toepassingen stroomafwaarts. Het textuursynthesemodel, profiterend van sterke geometrische en diffusievoorwaarden, produceert textuurkaarten op hoge resolutie en levendigheid voor zowel gegenereerde als handgemaakte meshes. Bovendien bouwen we Hunyuan3D-Studio - een veelzijdig, gebruiksvriendelijk productieplatform dat het proces van het opnieuw maken van 3D-assets vereenvoudigt. Het stelt zowel professionele als amateurgebruikers in staat om hun meshes efficiënt te manipuleren of zelfs te animeren. We evalueren onze modellen systematisch, waarbij we aantonen dat Hunyuan3D 2.0 beter presteert dan eerdere state-of-the-art modellen, inclusief de open-source modellen en gesloten-source modellen op het gebied van geometrische details, conditieafstemming, textuurkwaliteit, enzovoort. Hunyuan3D 2.0 is openbaar vrijgegeven om de lacunes in de open-source 3D-gemeenschap voor grootschalige fundamentele generatiemodellen op te vullen. De code en vooraf getrainde gewichten van onze modellen zijn beschikbaar op: https://github.com/Tencent/Hunyuan3D-2

English

We present Hunyuan3D 2.0, an advanced large-scale 3D synthesis system for generating high-resolution textured 3D assets. This system includes two foundation components: a large-scale shape generation model -- Hunyuan3D-DiT, and a large-scale texture synthesis model -- Hunyuan3D-Paint. The shape generative model, built on a scalable flow-based diffusion transformer, aims to create geometry that properly aligns with a given condition image, laying a solid foundation for downstream applications. The texture synthesis model, benefiting from strong geometric and diffusion priors, produces high-resolution and vibrant texture maps for either generated or hand-crafted meshes. Furthermore, we build Hunyuan3D-Studio -- a versatile, user-friendly production platform that simplifies the re-creation process of 3D assets. It allows both professional and amateur users to manipulate or even animate their meshes efficiently. We systematically evaluate our models, showing that Hunyuan3D 2.0 outperforms previous state-of-the-art models, including the open-source models and closed-source models in geometry details, condition alignment, texture quality, and etc. Hunyuan3D 2.0 is publicly released in order to fill the gaps in the open-source 3D community for large-scale foundation generative models. The code and pre-trained weights of our models are available at: https://github.com/Tencent/Hunyuan3D-2