Neural LightRig: Sbloccare la stima accurata della normale degli oggetti e dei materiali con la diffusione multi-luce.

Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

December 12, 2024

Autori: Zexin He, Tengfei Wang, Xin Huang, Xingang Pan, Ziwei Liu

cs.AI

Abstract

Recuperare la geometria e i materiali degli oggetti da un'unica immagine è una sfida a causa della sua natura sottodeterminata. In questo articolo, presentiamo Neural LightRig, un nuovo framework che potenzia la stima intrinseca sfruttando condizioni di illuminazione ausiliarie da priors di diffusione 2D. In particolare, 1) sfruttiamo inizialmente i priors di illuminazione da modelli di diffusione su larga scala per costruire il nostro modello di diffusione multi-illuminazione su un dataset di illuminazione sintetica con design dedicati. Questo modello di diffusione genera diverse immagini coerenti, ognuna illuminata da sorgenti di luce puntiformi in direzioni diverse. 2) Utilizzando queste immagini di illuminazione varie per ridurre l'incertezza della stima, addestriamo un ampio modello G-buffer con una struttura a U-Net per prevedere con precisione le normali della superficie e i materiali. Esperimenti estensivi convalidano che il nostro approccio supera significativamente i metodi all'avanguardia, consentendo una stima accurata delle normali della superficie e dei materiali PBR con vividi effetti di illuminazione. Il codice e il dataset sono disponibili sulla nostra pagina del progetto su https://projects.zxhezexin.com/neural-lightrig.

English

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.