MaterialFusion: 재료 확산을 통한 역 렌더링 향상 사전정보

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

September 23, 2024

저자: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani

cs.AI

초록

최근의 역방향 렌더링 연구는 물체의 다중 뷰 이미지를 사용하여 형태, 반사율 및 재료를 복원하는 데 유망성을 보여주었습니다. 그러나 복원된 구성 요소들은 종종 입력 이미지에서 반사율과 재료 특성을 분리하는 내재적인 어려움으로 인해 새로운 조명 조건 하에서 정확하게 렌더링되지 못하는 경우가 있습니다. 이러한 도전에 대처하기 위해 우리는 텍스처와 재료 특성에 대한 2D 사전을 통합한 향상된 전통적인 3D 역방향 렌더링 파이프라인인 MaterialFusion을 소개합니다. 우리는 주어진 입력 외관으로부터 가장 가능성 있는 반사율과 재료를 추정하기 위해 다중 조명 데이터를 정제하는 2D 확산 모델 사전인 StableMaterial을 제시합니다. 이 모델은 약 12,000개의 예술가가 디자인한 합성 Blender 물체인 BlenderVault에서 파생된 반사율, 재료 및 재조명 이미지 데이터로 훈련되었습니다. 우리는 이 확산 사전을 반전 렌더링 프레임워크에 통합하여 점수 증류 샘플링(SDS)을 사용하여 반사율과 재료의 최적화를 안내함으로써 이전 연구와 비교하여 재조명 성능을 향상시킵니다. 우리는 MaterialFusion의 재조명 성능을 다양한 조명 조건 하에서 합성 및 실제 물체의 4개 데이터셋에서 검증하여, 우리의 확산 지원 접근법이 새로운 조명 조건 하에서 재구성된 물체의 외관을 현저하게 향상시킨다는 것을 보여줍니다. 우리는 이 분야에서의 추가 연구를 지원하기 위해 BlenderVault 데이터셋을 공개적으로 공개할 계획입니다.

English

Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.