신경 광 조명: 다중 광 확산을 이용한 정확한 물체 법선 및 재질 추정 해제

초록

단일 이미지로부터 객체의 기하학과 재료를 복원하는 것은 미지수가 많아 어려운 작업입니다. 본 논문에서는 2D 확산 사전에서 보조 다중 조명 조건을 활용하여 내재 추정을 향상시키는 새로운 프레임워크인 Neural LightRig을 제안합니다. 구체적으로 1) 우리는 먼저 대규모 확산 모델로부터 조명 사전을 활용하여 특별히 설계된 합성 조명 데이터셋에서 우리의 다중 조명 확산 모델을 구축합니다. 이 확산 모델은 각각이 서로 다른 방향에서 점 조명원에 의해 조명이 되는 여러 일관된 이미지를 생성합니다. 2) 이러한 다양한 조명 이미지를 사용하여 추정 불확실성을 줄이고, U-Net 백본을 사용한 대규모 G-buffer 모델을 훈련시켜 표면 법선과 재료를 정확하게 예측합니다. 광범위한 실험을 통해 우리의 접근 방식이 최신 기술 방법을 크게 능가함을 검증하였으며, 생생한 조명 효과와 함께 정확한 표면 법선 및 PBR 재료 추정이 가능합니다. 코드 및 데이터셋은 https://projects.zxhezexin.com/neural-lightrig의 프로젝트 페이지에서 제공됩니다.

English

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.

신경 광 조명: 다중 광 확산을 이용한 정확한 물체 법선 및 재질 추정 해제

Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

초록

Support