MaRI: Material-Retrieval-Integration über Domänen hinweg

MaRI: Material Retrieval Integration across Domains

March 11, 2025

Autoren: Jianhui Wang, Zhifei Yang, Yangfan He, Huixiong Zhang, Yuxuan Chen, Jingwei Huang

cs.AI

Zusammenfassung

Die präzise Materialrückgewinnung ist entscheidend für die Erstellung realistischer 3D-Assets. Bisherige Methoden stützen sich auf Datensätze, die forminvariante und beleuchtungsvariante Darstellungen von Materialien erfassen, die jedoch rar sind und aufgrund begrenzter Vielfalt und unzureichender Generalisierung in der realen Welt Herausforderungen darstellen. Die meisten aktuellen Ansätze verwenden traditionelle Bildsuchtechniken. Sie scheitern daran, die einzigartigen Eigenschaften von Materialräumen zu erfassen, was zu suboptimalen Ergebnissen bei Rückgewinnungsaufgaben führt. Um diese Herausforderungen zu bewältigen, stellen wir MaRI vor, ein Framework, das die Lücke im Merkmalsraum zwischen synthetischen und realen Materialien überbrücken soll. MaRI konstruiert einen gemeinsamen Einbettungsraum, der visuelle und Materialattribute durch eine kontrastive Lernstrategie harmonisiert, indem ein Bild- und ein Materialencoder gemeinsam trainiert werden. Dadurch werden ähnliche Materialien und Bilder näher zusammengebracht, während unähnliche Paare im Merkmalsraum getrennt werden. Um dies zu unterstützen, erstellen wir einen umfassenden Datensatz, der hochwertige synthetische Materialien mit kontrollierten Formvariationen und diversen Beleuchtungsbedingungen sowie reale Materialien umfasst, die mit Materialtransfertechniken verarbeitet und standardisiert wurden. Umfangreiche Experimente demonstrieren die überlegene Leistung, Genauigkeit und Generalisierungsfähigkeit von MaRI bei vielfältigen und komplexen Materialrückgewinnungsaufgaben, wobei es bestehende Methoden übertrifft.

English

Accurate material retrieval is critical for creating realistic 3D assets. Existing methods rely on datasets that capture shape-invariant and lighting-varied representations of materials, which are scarce and face challenges due to limited diversity and inadequate real-world generalization. Most current approaches adopt traditional image search techniques. They fall short in capturing the unique properties of material spaces, leading to suboptimal performance in retrieval tasks. Addressing these challenges, we introduce MaRI, a framework designed to bridge the feature space gap between synthetic and real-world materials. MaRI constructs a shared embedding space that harmonizes visual and material attributes through a contrastive learning strategy by jointly training an image and a material encoder, bringing similar materials and images closer while separating dissimilar pairs within the feature space. To support this, we construct a comprehensive dataset comprising high-quality synthetic materials rendered with controlled shape variations and diverse lighting conditions, along with real-world materials processed and standardized using material transfer techniques. Extensive experiments demonstrate the superior performance, accuracy, and generalization capabilities of MaRI across diverse and complex material retrieval tasks, outperforming existing methods.