Materiale Qualsiasi: Generazione di Materiali per Qualsiasi Oggetto 3D tramite Diffusione

Material Anything: Generating Materials for Any 3D Object via Diffusion

November 22, 2024

Autori: Xin Huang, Tengfei Wang, Ziwei Liu, Qing Wang

cs.AI

Abstract

Presentiamo Material Anything, un framework di diffusione unificato completamente automatizzato progettato per generare materiali basati sulla fisica per oggetti 3D. A differenza dei metodi esistenti che si basano su pipeline complesse o ottimizzazioni specifiche per casi, Material Anything offre una soluzione robusta e completa adattabile a oggetti in diverse condizioni di illuminazione. Il nostro approccio sfrutta un modello di diffusione di immagini preaddestrato, potenziato con un'architettura a tre teste e una perdita di rendering per migliorare la stabilità e la qualità del materiale. Inoltre, introduciamo maschere di confidenza come commutatore dinamico all'interno del modello di diffusione, consentendogli di gestire efficacemente oggetti con texture e senza texture in condizioni di illuminazione variabili. Applicando una strategia progressiva di generazione di materiali guidata da queste maschere di confidenza, insieme a un raffinatore di materiali nello spazio UV, il nostro metodo garantisce output di materiali coerenti e pronti per UV. Estesi esperimenti dimostrano che il nostro approccio supera i metodi esistenti in una vasta gamma di categorie di oggetti e condizioni di illuminazione.

English

We present Material Anything, a fully-automated, unified diffusion framework designed to generate physically-based materials for 3D objects. Unlike existing methods that rely on complex pipelines or case-specific optimizations, Material Anything offers a robust, end-to-end solution adaptable to objects under diverse lighting conditions. Our approach leverages a pre-trained image diffusion model, enhanced with a triple-head architecture and rendering loss to improve stability and material quality. Additionally, we introduce confidence masks as a dynamic switcher within the diffusion model, enabling it to effectively handle both textured and texture-less objects across varying lighting conditions. By employing a progressive material generation strategy guided by these confidence masks, along with a UV-space material refiner, our method ensures consistent, UV-ready material outputs. Extensive experiments demonstrate our approach outperforms existing methods across a wide range of object categories and lighting conditions.