재료 생성: 확산을 통해 모든 3D 객체에 대한 재료 생성

Material Anything: Generating Materials for Any 3D Object via Diffusion

November 22, 2024

저자: Xin Huang, Tengfei Wang, Ziwei Liu, Qing Wang

cs.AI

초록

물질 어떤 것(Material Anything)은 3D 객체를 위해 물리적 기반의 물질을 생성하기 위해 설계된 완전 자동화된 통합 확산 프레임워크를 제시합니다. 복잡한 파이프라인이나 특정 사례에 최적화된 기존 방법과는 달리, 물질 어떤 것은 다양한 조명 조건 하의 객체에 적응 가능한 견고한 엔드 투 엔드 솔루션을 제공합니다. 저희 방법은 사전 훈련된 이미지 확산 모델을 활용하며, 트리플 헤드 아키텍처와 렌더링 손실을 향상시켜 안정성과 물질 품질을 향상시킵니다. 게다가, 우리는 확신 마스크를 확산 모델 내에서 동적 스위처로 소개하여 다양한 조명 조건 하의 텍스처 있는 객체와 텍스처 없는 객체를 효과적으로 처리할 수 있게 합니다. 이러한 확신 마스크에 의해 이끌리는 점진적 물질 생성 전략과 UV-공간 물질 세련기를 활용함으로써, 우리의 방법은 일관된, UV 준비된 물질 출력을 보장합니다. 광범위한 실험 결과는 우리의 방법이 다양한 객체 범주와 조명 조건에서 기존 방법을 능가함을 입증합니다.

English

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.