Hi3DGen: Generazione di geometrie 3D ad alta fedeltà da immagini tramite il ponteggiamento delle normali

Hi3DGen: High-fidelity 3D Geometry Generation from Images via Normal Bridging

March 28, 2025

Autori: Chongjie Ye, Yushuang Wu, Ziteng Lu, Jiahao Chang, Xiaoyang Guo, Jiaqing Zhou, Hao Zhao, Xiaoguang Han

cs.AI

Abstract

Con la crescente domanda di modelli 3D ad alta fedeltà a partire da immagini 2D, i metodi esistenti continuano a fronteggiare sfide significative nel riprodurre accuratamente dettagli geometrici di fine granularità a causa di limitazioni nei gap di dominio e delle ambiguità intrinseche delle immagini RGB. Per affrontare questi problemi, proponiamo Hi3DGen, un nuovo framework per la generazione di geometrie 3D ad alta fedeltà da immagini tramite il bridging delle normali. Hi3DGen è composto da tre componenti chiave: (1) un estimatore da immagine a normale che disaccoppia il pattern di frequenza bassa-alta dell'immagine con l'iniezione di rumore e l'addestramento dual-stream per ottenere una stima generalizzabile, stabile e nitida; (2) un approccio di apprendimento da normale a geometria che utilizza l'apprendimento a diffusione latente regolarizzato dalle normali per migliorare la fedeltà della generazione della geometria 3D; e (3) una pipeline di sintesi di dati 3D che costruisce un dataset di alta qualità per supportare l'addestramento. Esperimenti estensivi dimostrano l'efficacia e la superiorità del nostro framework nella generazione di ricchi dettagli geometrici, superando i metodi all'avanguardia in termini di fedeltà. Il nostro lavoro fornisce una nuova direzione per la generazione di geometrie 3D ad alta fedeltà da immagini sfruttando le mappe delle normali come rappresentazione intermedia.

English

With the growing demand for high-fidelity 3D models from 2D images, existing methods still face significant challenges in accurately reproducing fine-grained geometric details due to limitations in domain gaps and inherent ambiguities in RGB images. To address these issues, we propose Hi3DGen, a novel framework for generating high-fidelity 3D geometry from images via normal bridging. Hi3DGen consists of three key components: (1) an image-to-normal estimator that decouples the low-high frequency image pattern with noise injection and dual-stream training to achieve generalizable, stable, and sharp estimation; (2) a normal-to-geometry learning approach that uses normal-regularized latent diffusion learning to enhance 3D geometry generation fidelity; and (3) a 3D data synthesis pipeline that constructs a high-quality dataset to support training. Extensive experiments demonstrate the effectiveness and superiority of our framework in generating rich geometric details, outperforming state-of-the-art methods in terms of fidelity. Our work provides a new direction for high-fidelity 3D geometry generation from images by leveraging normal maps as an intermediate representation.