3DV-TON: Texturiertes 3D-geführtes konsistentes Video-Try-on mittels Diffusionsmodellen

3DV-TON: Textured 3D-Guided Consistent Video Try-on via Diffusion Models

April 24, 2025

Autoren: Min Wei, Chaohui Yu, Jingkai Zhou, Fan Wang

cs.AI

Zusammenfassung

Video Try-on ersetzt Kleidung in Videos durch Zielbekleidung. Bestehende Methoden haben Schwierigkeiten, qualitativ hochwertige und zeitlich konsistente Ergebnisse zu erzeugen, insbesondere bei der Handhabung komplexer Kleidungsmuster und vielfältiger Körperposen. Wir präsentieren 3DV-TON, ein neuartiges, diffusionsbasiertes Framework zur Erzeugung von hochauflösenden und zeitlich konsistenten Video-Try-on-Ergebnissen. Unser Ansatz nutzt generierte animierbare texturierte 3D-Meshes als explizite Frame-Level-Anleitung, wodurch das Problem gelöst wird, dass Modelle zu stark auf die Erscheinungsfidelität auf Kosten der Bewegungskohärenz fokussieren. Dies wird erreicht, indem ein direkter Bezug auf konsistente Texturbewegungen der Kleidung über die gesamte Videosequenz ermöglicht wird. Die vorgeschlagene Methode verfügt über eine adaptive Pipeline zur Erzeugung dynamischer 3D-Anleitungen: (1) Auswahl eines Keyframes für das initiale 2D-Bild-Try-on, gefolgt von (2) der Rekonstruktion und Animation eines texturierten 3D-Meshes, das mit den ursprünglichen Videoposen synchronisiert ist. Wir führen außerdem eine robuste rechteckige Maskierungsstrategie ein, die erfolgreich die Ausbreitung von Artefakten verhindert, die durch das Durchsickern von Kleidungsinformationen während dynamischer menschlicher und Kleidungsbewegungen verursacht werden. Um die Forschung im Bereich Video-Try-on voranzutreiben, stellen wir HR-VVT vor, einen hochauflösenden Benchmark-Datensatz, der 130 Videos mit verschiedenen Kleidungstypen und Szenarien enthält. Quantitative und qualitative Ergebnisse demonstrieren unsere überlegene Leistung gegenüber bestehenden Methoden. Die Projektseite ist unter diesem Link verfügbar: https://2y7c3.github.io/3DV-TON/

English

Video try-on replaces clothing in videos with target garments. Existing methods struggle to generate high-quality and temporally consistent results when handling complex clothing patterns and diverse body poses. We present 3DV-TON, a novel diffusion-based framework for generating high-fidelity and temporally consistent video try-on results. Our approach employs generated animatable textured 3D meshes as explicit frame-level guidance, alleviating the issue of models over-focusing on appearance fidelity at the expanse of motion coherence. This is achieved by enabling direct reference to consistent garment texture movements throughout video sequences. The proposed method features an adaptive pipeline for generating dynamic 3D guidance: (1) selecting a keyframe for initial 2D image try-on, followed by (2) reconstructing and animating a textured 3D mesh synchronized with original video poses. We further introduce a robust rectangular masking strategy that successfully mitigates artifact propagation caused by leaking clothing information during dynamic human and garment movements. To advance video try-on research, we introduce HR-VVT, a high-resolution benchmark dataset containing 130 videos with diverse clothing types and scenarios. Quantitative and qualitative results demonstrate our superior performance over existing methods. The project page is at this link https://2y7c3.github.io/3DV-TON/