GarVerseLOD: Ricostruzione di alta fedeltà di abiti in 3D da un'unica immagine in condizioni reali utilizzando un dataset con livelli di dettaglio
GarVerseLOD: High-Fidelity 3D Garment Reconstruction from a Single In-the-Wild Image using a Dataset with Levels of Details
November 5, 2024
Autori: Zhongjin Luo, Haolin Liu, Chenghong Li, Wanghao Du, Zirong Jin, Wanhu Sun, Yinyu Nie, Weikai Chen, Xiaoguang Han
cs.AI
Abstract
Le funzioni neurali implicite hanno portato notevoli progressi allo stato dell'arte della digitalizzazione umana vestita da immagini multiple o anche singole. Tuttavia, nonostante i progressi, attualmente si riscontrano ancora difficoltà nell'estendere a immagini non viste con deformazioni complesse dei vestiti e pose del corpo. In questo lavoro, presentiamo GarVerseLOD, un nuovo dataset e framework che apre la strada per raggiungere una robustezza senza precedenti nella ricostruzione tridimensionale ad alta fedeltà di indumenti da un'unica immagine non vincolata. Ispirati al recente successo dei grandi modelli generativi, riteniamo che una chiave per affrontare la sfida della generalizzazione risieda nella quantità e qualità dei dati tridimensionali sugli indumenti. A questo scopo, GarVerseLOD raccoglie 6.000 modelli di abiti di alta qualità con dettagli geometrici finemente articolati creati manualmente da artisti professionisti. Oltre alla scala dei dati di addestramento, osserviamo che avere granularità di geometria disaccoppiate può svolgere un ruolo importante nel potenziare la capacità di generalizzazione e l'accuratezza dell'inferenza del modello appreso. Per questo motivo, creiamo GarVerseLOD come un dataset gerarchico con livelli di dettaglio (LOD), che vanno da forme stilizzate prive di dettagli a indumenti mescolati con pose con dettagli allineati ai pixel. Questo ci consente di rendere questo problema altamente non vincolato gestibile scomponendo l'inferenza in compiti più semplici, ognuno limitato con uno spazio di ricerca più piccolo. Per garantire che GarVerseLOD possa generalizzare bene alle immagini in natura, proponiamo un nuovo paradigma di etichettatura basato su modelli di diffusione condizionale per generare ampie immagini accoppiate per ciascun modello di abbigliamento con un alto fotorealismo. Valutiamo il nostro metodo su un'enorme quantità di immagini in natura. I risultati sperimentali dimostrano che GarVerseLOD può generare singoli pezzi di abbigliamento con una qualità significativamente migliore rispetto agli approcci precedenti. Pagina del progetto: https://garverselod.github.io/
English
Neural implicit functions have brought impressive advances to the
state-of-the-art of clothed human digitization from multiple or even single
images. However, despite the progress, current arts still have difficulty
generalizing to unseen images with complex cloth deformation and body poses. In
this work, we present GarVerseLOD, a new dataset and framework that paves the
way to achieving unprecedented robustness in high-fidelity 3D garment
reconstruction from a single unconstrained image. Inspired by the recent
success of large generative models, we believe that one key to addressing the
generalization challenge lies in the quantity and quality of 3D garment data.
Towards this end, GarVerseLOD collects 6,000 high-quality cloth models with
fine-grained geometry details manually created by professional artists. In
addition to the scale of training data, we observe that having disentangled
granularities of geometry can play an important role in boosting the
generalization capability and inference accuracy of the learned model. We hence
craft GarVerseLOD as a hierarchical dataset with levels of details (LOD),
spanning from detail-free stylized shape to pose-blended garment with
pixel-aligned details. This allows us to make this highly under-constrained
problem tractable by factorizing the inference into easier tasks, each narrowed
down with smaller searching space. To ensure GarVerseLOD can generalize well to
in-the-wild images, we propose a novel labeling paradigm based on conditional
diffusion models to generate extensive paired images for each garment model
with high photorealism. We evaluate our method on a massive amount of
in-the-wild images. Experimental results demonstrate that GarVerseLOD can
generate standalone garment pieces with significantly better quality than prior
approaches. Project page: https://garverselod.github.io/Summary
AI-Generated Summary