3DV-TON : Essayage vidéo cohérent guidé par des modèles 3D texturés via des modèles de diffusion

3DV-TON: Textured 3D-Guided Consistent Video Try-on via Diffusion Models

April 24, 2025

Auteurs: Min Wei, Chaohui Yu, Jingkai Zhou, Fan Wang

cs.AI

Résumé

L'essayage vidéo remplace les vêtements dans les vidéos par des tenues cibles. Les méthodes existantes peinent à générer des résultats de haute qualité et temporellement cohérents face à des motifs vestimentaires complexes et des poses corporelles variées. Nous présentons 3DV-TON, un nouveau cadre basé sur la diffusion pour générer des résultats d'essayage vidéo haute fidélité et temporellement cohérents. Notre approche utilise des maillages 3D texturés et animables générés comme guide explicite au niveau des images, atténuant ainsi le problème des modèles qui se concentrent excessivement sur la fidélité visuelle au détriment de la cohérence du mouvement. Ceci est réalisé en permettant une référence directe aux mouvements cohérents des textures vestimentaires tout au long des séquences vidéo. La méthode proposée intègre un pipeline adaptatif pour générer un guide 3D dynamique : (1) sélection d'une image clé pour un essayage initial en 2D, suivi de (2) la reconstruction et l'animation d'un maillage 3D texturé synchronisé avec les poses originales de la vidéo. Nous introduisons également une stratégie robuste de masquage rectangulaire qui atténue efficacement la propagation d'artefacts causée par la fuite d'informations vestimentaires lors des mouvements dynamiques du corps et des vêtements. Pour faire progresser la recherche en essayage vidéo, nous présentons HR-VVT, un jeu de données de référence haute résolution contenant 130 vidéos avec divers types de vêtements et scénarios. Les résultats quantitatifs et qualitatifs démontrent notre performance supérieure par rapport aux méthodes existantes. La page du projet est accessible à ce lien : https://2y7c3.github.io/3DV-TON/

English

Video try-on replaces clothing in videos with target garments. Existing methods struggle to generate high-quality and temporally consistent results when handling complex clothing patterns and diverse body poses. We present 3DV-TON, a novel diffusion-based framework for generating high-fidelity and temporally consistent video try-on results. Our approach employs generated animatable textured 3D meshes as explicit frame-level guidance, alleviating the issue of models over-focusing on appearance fidelity at the expanse of motion coherence. This is achieved by enabling direct reference to consistent garment texture movements throughout video sequences. The proposed method features an adaptive pipeline for generating dynamic 3D guidance: (1) selecting a keyframe for initial 2D image try-on, followed by (2) reconstructing and animating a textured 3D mesh synchronized with original video poses. We further introduce a robust rectangular masking strategy that successfully mitigates artifact propagation caused by leaking clothing information during dynamic human and garment movements. To advance video try-on research, we introduce HR-VVT, a high-resolution benchmark dataset containing 130 videos with diverse clothing types and scenarios. Quantitative and qualitative results demonstrate our superior performance over existing methods. The project page is at this link https://2y7c3.github.io/3DV-TON/