GarVerseLOD: 수준별 세부 정보를 갖춘 데이터셋을 활용한 야외 이미지로부터의 고품질 3D 의상 재구성

GarVerseLOD: High-Fidelity 3D Garment Reconstruction from a Single In-the-Wild Image using a Dataset with Levels of Details

November 5, 2024

저자: Zhongjin Luo, Haolin Liu, Chenghong Li, Wanghao Du, Zirong Jin, Wanhu Sun, Yinyu Nie, Weikai Chen, Xiaoguang Han

cs.AI

초록

신경 임플리시트 함수는 복수 또는 단일 이미지에서 의류를 입은 인간을 디지턀화하는 최첨단 기술에 상당한 발전을 가져왔습니다. 그러나 진전에도 불구하고, 현재의 기술은 복잡한 옷 변형과 몸의 자세를 가진 보이지 않는 이미지에 대해 일반화하는 데 어려움을 겪고 있습니다. 본 연구에서는 단일 제약이 없는 이미지로부터 고품질 3D 의류 재구성에서 전례 없는 강건성을 달성하기 위한 새로운 데이터셋 및 프레임워크인 GarVerseLOD를 제시합니다. 대규모 생성 모델의 최근 성공에서 영감을 받아, 일반화 도전에 대처하는 핵심은 3D 의류 데이터의 양과 질에 있다고 믿습니다. 이를 위해 GarVerseLOD는 전문 예술가들이 수작업으로 만든 세밀한 기하학 세부 정보를 갖춘 6,000개의 고품질 의류 모델을 수집합니다. 교육 데이터의 규모 외에도, 우리는 기하학의 분리된 세분화가 일반화 능력과 학습된 모델의 추론 정확도 향상에 중요한 역할을 할 수 있다는 것을 관찰했습니다. 따라서 우리는 GarVerseLOD를 세부 수준(LOD)으로 계층적 데이터셋으로 제작하여, 세부 사항이 없는 스타일화된 모양부터 픽셀 정렬된 세부 정보를 갖춘 자세 혼합 의류까지 확장합니다. 이를 통해 추론을 더 쉬운 작업으로 분해하여 보다 작은 검색 공간으로 좁힘으로써 이 과도하게 제약된 문제를 다룰 수 있게 합니다. GarVerseLOD가 야외 이미지에 대해 잘 일반화될 수 있도록, 우리는 고품질 사진 현실성을 갖춘 각 의류 모델에 대한 방대한 쌍 이미지를 생성하기 위한 조건부 확산 모델에 기반한 새로운 레이블링 패러다임을 제안합니다. 우리는 방대한 양의 야외 이미지에서 우리의 방법을 평가했습니다. 실험 결과는 GarVerseLOD가 이전 방법보다 훨씬 더 우수한 품질의 독립적인 의류 조각을 생성할 수 있음을 보여줍니다. 프로젝트 페이지: https://garverselod.github.io/

English

Neural implicit functions have brought impressive advances to the state-of-the-art of clothed human digitization from multiple or even single images. However, despite the progress, current arts still have difficulty generalizing to unseen images with complex cloth deformation and body poses. In this work, we present GarVerseLOD, a new dataset and framework that paves the way to achieving unprecedented robustness in high-fidelity 3D garment reconstruction from a single unconstrained image. Inspired by the recent success of large generative models, we believe that one key to addressing the generalization challenge lies in the quantity and quality of 3D garment data. Towards this end, GarVerseLOD collects 6,000 high-quality cloth models with fine-grained geometry details manually created by professional artists. In addition to the scale of training data, we observe that having disentangled granularities of geometry can play an important role in boosting the generalization capability and inference accuracy of the learned model. We hence craft GarVerseLOD as a hierarchical dataset with levels of details (LOD), spanning from detail-free stylized shape to pose-blended garment with pixel-aligned details. This allows us to make this highly under-constrained problem tractable by factorizing the inference into easier tasks, each narrowed down with smaller searching space. To ensure GarVerseLOD can generalize well to in-the-wild images, we propose a novel labeling paradigm based on conditional diffusion models to generate extensive paired images for each garment model with high photorealism. We evaluate our method on a massive amount of in-the-wild images. Experimental results demonstrate that GarVerseLOD can generate standalone garment pieces with significantly better quality than prior approaches. Project page: https://garverselod.github.io/