TryOffDiff: 확산 모델을 사용한 고품질 의류 재구성을 통한 가상 착용 시연

TryOffDiff: Virtual-Try-Off via High-Fidelity Garment Reconstruction using Diffusion Models

November 27, 2024

저자: Riza Velioglu, Petra Bevandic, Robin Chan, Barbara Hammer

cs.AI

초록

본 논문은 가상 시착 (Virtual Try-Off, VTOFF)을 소개하는데, 이는 옷을 입은 개인의 단일 사진에서 표준화된 의류 이미지를 생성하는 것에 초점을 맞춘 새로운 작업입니다. 기존의 가상 시착 (Virtual Try-On, VTON)이 모델에 디지털 의류를 입히는 것과는 달리, VTOFF는 의류 모양, 질감 및 복잡한 패턴을 캡처하는 독특한 과제를 가지고 있습니다. 이 명확히 정의된 목표는 생성 모델의 재구성 정확도를 평가하는 데 VTOFF가 특히 효과적임을 보여줍니다. 저희는 고품질과 세부 정보 보존을 보장하기 위해 Stable Diffusion과 SigLIP 기반 시각적 조건부를 채택한 TryOffDiff 모델을 제시합니다. 수정된 VITON-HD 데이터셋에서의 실험 결과, 저희 방법이 자세 전이와 가상 시착을 기반으로 한 기준선 방법들보다 더 적은 사전 및 사후 처리 단계로 우수한 성능을 보여줍니다. 저희의 분석 결과, 전통적인 이미지 생성 지표가 재구성 품질을 부적절하게 평가하므로, 보다 정확한 평가를 위해 DISTS에 의존해야 한다는 점을 드러냅니다. 저희 결과는 VTOFF가 전자 상거래 응용 프로그램에서 제품 이미지를 향상시키고, 생성 모델 평가를 발전시키며, 고품질 재구성에 대한 미래 작업에 영감을 줄 수 있는 잠재력을 강조합니다. 데모, 코드 및 모델은 다음 링크에서 확인할 수 있습니다: https://rizavelioglu.github.io/tryoffdiff/

English

This paper introduces Virtual Try-Off (VTOFF), a novel task focused on generating standardized garment images from single photos of clothed individuals. Unlike traditional Virtual Try-On (VTON), which digitally dresses models, VTOFF aims to extract a canonical garment image, posing unique challenges in capturing garment shape, texture, and intricate patterns. This well-defined target makes VTOFF particularly effective for evaluating reconstruction fidelity in generative models. We present TryOffDiff, a model that adapts Stable Diffusion with SigLIP-based visual conditioning to ensure high fidelity and detail retention. Experiments on a modified VITON-HD dataset show that our approach outperforms baseline methods based on pose transfer and virtual try-on with fewer pre- and post-processing steps. Our analysis reveals that traditional image generation metrics inadequately assess reconstruction quality, prompting us to rely on DISTS for more accurate evaluation. Our results highlight the potential of VTOFF to enhance product imagery in e-commerce applications, advance generative model evaluation, and inspire future work on high-fidelity reconstruction. Demo, code, and models are available at: https://rizavelioglu.github.io/tryoffdiff/