3DV-TON: Gekleurde 3D-geleide consistente video-aantrekking via diffusiemodellen

3DV-TON: Textured 3D-Guided Consistent Video Try-on via Diffusion Models

April 24, 2025

Auteurs: Min Wei, Chaohui Yu, Jingkai Zhou, Fan Wang

cs.AI

Samenvatting

Video try-on vervangt kleding in video's door doelkledingstukken. Bestaande methoden hebben moeite om hoogwaardige en temporeel consistente resultaten te genereren bij het omgaan met complexe kledingpatronen en diverse lichaamshoudingen. Wij presenteren 3DV-TON, een nieuw op diffusie gebaseerd raamwerk voor het genereren van hoogwaardige en temporeel consistente video try-on resultaten. Onze aanpak maakt gebruik van gegenereerde animeerbare textuur 3D-meshes als expliciete frame-level begeleiding, waardoor het probleem wordt verlicht dat modellen te veel focussen op uiterlijke nauwkeurigheid ten koste van bewegingscoherentie. Dit wordt bereikt door directe referentie mogelijk te maken naar consistente textuur bewegingen van kledingstukken gedurende videosequenties. De voorgestelde methode beschikt over een adaptieve pijplijn voor het genereren van dynamische 3D-begeleiding: (1) het selecteren van een keyframe voor initiële 2D-beeld try-on, gevolgd door (2) het reconstrueren en animeren van een textuur 3D-mesh gesynchroniseerd met de originele videohoudingen. We introduceren verder een robuuste rechthoekige maskeringsstrategie die succesvol artefactpropagatie vermindert veroorzaakt door lekkende kledinginformatie tijdens dynamische menselijke en kledingbewegingen. Om onderzoek naar video try-on te bevorderen, introduceren we HR-VVT, een hoogresolutie benchmark dataset met 130 video's met diverse kledingtypes en scenario's. Kwantitatieve en kwalitatieve resultaten tonen onze superieure prestaties aan ten opzichte van bestaande methoden. De projectpagina is te vinden op deze link https://2y7c3.github.io/3DV-TON/

English

Video try-on replaces clothing in videos with target garments. Existing methods struggle to generate high-quality and temporally consistent results when handling complex clothing patterns and diverse body poses. We present 3DV-TON, a novel diffusion-based framework for generating high-fidelity and temporally consistent video try-on results. Our approach employs generated animatable textured 3D meshes as explicit frame-level guidance, alleviating the issue of models over-focusing on appearance fidelity at the expanse of motion coherence. This is achieved by enabling direct reference to consistent garment texture movements throughout video sequences. The proposed method features an adaptive pipeline for generating dynamic 3D guidance: (1) selecting a keyframe for initial 2D image try-on, followed by (2) reconstructing and animating a textured 3D mesh synchronized with original video poses. We further introduce a robust rectangular masking strategy that successfully mitigates artifact propagation caused by leaking clothing information during dynamic human and garment movements. To advance video try-on research, we introduce HR-VVT, a high-resolution benchmark dataset containing 130 videos with diverse clothing types and scenarios. Quantitative and qualitative results demonstrate our superior performance over existing methods. The project page is at this link https://2y7c3.github.io/3DV-TON/