GarVerseLOD: Hoogwaardige 3D-kledingreconstructie vanuit een enkele In-the-Wild afbeelding met behulp van een dataset met niveaus van details

GarVerseLOD: High-Fidelity 3D Garment Reconstruction from a Single In-the-Wild Image using a Dataset with Levels of Details

November 5, 2024

Auteurs: Zhongjin Luo, Haolin Liu, Chenghong Li, Wanghao Du, Zirong Jin, Wanhu Sun, Yinyu Nie, Weikai Chen, Xiaoguang Han

cs.AI

Samenvatting

Neurale impliciete functies hebben indrukwekkende vooruitgang gebracht in de state-of-the-art van het digitaliseren van geklede menselijke figuren vanuit meerdere of zelfs enkele afbeeldingen. Echter, ondanks de vooruitgang, hebben huidige methoden nog steeds moeite met generaliseren naar ongeziene afbeeldingen met complexe kledingvervorming en lichaamshoudingen. In dit werk presenteren we GarVerseLOD, een nieuwe dataset en framework dat de weg effent naar het bereiken van ongekende robuustheid in hoogwaardige 3D-kledingreconstructie vanuit een enkele onbeperkte afbeelding. Geïnspireerd door het recente succes van grote generatieve modellen, geloven we dat één sleutel tot het aanpakken van de generalisatie-uitdaging ligt in de hoeveelheid en kwaliteit van 3D-kledingdata. Met dit doel verzamelt GarVerseLOD 6.000 hoogwaardige kledingmodellen met fijnmazige geometrische details die handmatig zijn gemaakt door professionele kunstenaars. Naast de omvang van de trainingsdata, merken we op dat het hebben van ontwarde granulariteiten van geometrie een belangrijke rol kan spelen bij het versterken van de generalisatiecapaciteit en inferentie-accuraatheid van het geleerde model. We ontwerpen GarVerseLOD daarom als een hiërarchische dataset met niveaus van details (LOD), variërend van detailvrije gestileerde vorm tot pose-geblend kledingstuk met pixel-uitgelijnde details. Dit stelt ons in staat om dit zeer onderbepaalde probleem hanteerbaar te maken door de inferentie op te splitsen in gemakkelijkere taken, elk beperkt met een kleiner zoekgebied. Om ervoor te zorgen dat GarVerseLOD goed kan generaliseren naar in-the-wild afbeeldingen, stellen we een nieuw labelparadigma voor op basis van conditionele diffusiemodellen om uitgebreide gekoppelde afbeeldingen te genereren voor elk kledingmodel met een hoge fotorealisme. We evalueren onze methode op een enorme hoeveelheid in-the-wild afbeeldingen. Experimentele resultaten tonen aan dat GarVerseLOD op zichzelf staande kledingstukken kan genereren met aanzienlijk betere kwaliteit dan eerdere benaderingen. Projectpagina: https://garverselod.github.io/

English

Neural implicit functions have brought impressive advances to the state-of-the-art of clothed human digitization from multiple or even single images. However, despite the progress, current arts still have difficulty generalizing to unseen images with complex cloth deformation and body poses. In this work, we present GarVerseLOD, a new dataset and framework that paves the way to achieving unprecedented robustness in high-fidelity 3D garment reconstruction from a single unconstrained image. Inspired by the recent success of large generative models, we believe that one key to addressing the generalization challenge lies in the quantity and quality of 3D garment data. Towards this end, GarVerseLOD collects 6,000 high-quality cloth models with fine-grained geometry details manually created by professional artists. In addition to the scale of training data, we observe that having disentangled granularities of geometry can play an important role in boosting the generalization capability and inference accuracy of the learned model. We hence craft GarVerseLOD as a hierarchical dataset with levels of details (LOD), spanning from detail-free stylized shape to pose-blended garment with pixel-aligned details. This allows us to make this highly under-constrained problem tractable by factorizing the inference into easier tasks, each narrowed down with smaller searching space. To ensure GarVerseLOD can generalize well to in-the-wild images, we propose a novel labeling paradigm based on conditional diffusion models to generate extensive paired images for each garment model with high photorealism. We evaluate our method on a massive amount of in-the-wild images. Experimental results demonstrate that GarVerseLOD can generate standalone garment pieces with significantly better quality than prior approaches. Project page: https://garverselod.github.io/