CatV2TON: Het temmen van Diffusion Transformers voor op visie gebaseerde virtuele pasvorm met Temporale Concatenatie

CatV2TON: Taming Diffusion Transformers for Vision-Based Virtual Try-On with Temporal Concatenation

January 20, 2025

Auteurs: Zheng Chong, Wenqing Zhang, Shiyue Zhang, Jun Zheng, Xiao Dong, Haoxiang Li, Yiling Wu, Dongmei Jiang, Xiaodan Liang

cs.AI

Samenvatting

Virtual try-on (VTON) technologie heeft aandacht gekregen vanwege het potentieel om online winkelen te transformeren door realistische kledingvisualisatie van afbeeldingen en video's mogelijk te maken. Echter, de meeste bestaande methoden hebben moeite om hoogwaardige resultaten te behalen bij zowel afbeelding- als videotry-on taken, vooral in lange videoscenario's. In dit werk introduceren we CatV2TON, een eenvoudige en effectieve op visie gebaseerde virtuele try-on (V2TON) methode die zowel afbeelding- als videotry-on taken ondersteunt met een enkel diffusie-transformermodel. Door kleding- en persoonsinvoer temporeel te concatenaten en te trainen op een mix van afbeeldings- en videodatasets, bereikt CatV2TON robuuste try-on prestaties in zowel statische als dynamische omgevingen. Voor efficiënte generatie van lange video's stellen we een overlappende clip-gebaseerde inferentiestrategie voor die sequentiële framebegeleiding gebruikt en Adaptieve Clip Normalisatie (AdaCN) om temporele consistentie te behouden met verminderde resource-eisen. We presenteren ook ViViD-S, een verfijnde videotry-on dataset, bereikt door het filteren van achterwaarts gerichte frames en het toepassen van 3D-masker smoothing voor verbeterde temporele consistentie. Uitgebreide experimenten tonen aan dat CatV2TON bestaande methoden overtreft in zowel afbeelding- als videotry-on taken, en biedt een veelzijdige en betrouwbare oplossing voor realistische virtuele try-ons in diverse scenario's.

English

Virtual try-on (VTON) technology has gained attention due to its potential to transform online retail by enabling realistic clothing visualization of images and videos. However, most existing methods struggle to achieve high-quality results across image and video try-on tasks, especially in long video scenarios. In this work, we introduce CatV2TON, a simple and effective vision-based virtual try-on (V2TON) method that supports both image and video try-on tasks with a single diffusion transformer model. By temporally concatenating garment and person inputs and training on a mix of image and video datasets, CatV2TON achieves robust try-on performance across static and dynamic settings. For efficient long-video generation, we propose an overlapping clip-based inference strategy that uses sequential frame guidance and Adaptive Clip Normalization (AdaCN) to maintain temporal consistency with reduced resource demands. We also present ViViD-S, a refined video try-on dataset, achieved by filtering back-facing frames and applying 3D mask smoothing for enhanced temporal consistency. Comprehensive experiments demonstrate that CatV2TON outperforms existing methods in both image and video try-on tasks, offering a versatile and reliable solution for realistic virtual try-ons across diverse scenarios.