Any2AnyTryon: Nutzung von adaptiven Positionseinbettungen für vielseitige virtuelle Bekleidungsaufgaben

Any2AnyTryon: Leveraging Adaptive Position Embeddings for Versatile Virtual Clothing Tasks

January 27, 2025

Autoren: Hailong Guo, Bohan Zeng, Yiren Song, Wentao Zhang, Chuang Zhang, Jiaming Liu

cs.AI

Zusammenfassung

Die bildbasierte virtuelle Anprobe (VTON) zielt darauf ab, ein virtuelles Anprobenergebnis zu erzeugen, indem ein Eingangskleidungsstück auf das Bild einer Zielperson übertragen wird. Die Knappheit von gepaarten Kleidungsstück-Modelldaten erschwert es jedoch den bestehenden Methoden, eine hohe Verallgemeinerung und Qualität in VTON zu erreichen. Dies begrenzt auch die Fähigkeit, maskenfreie Anproben zu generieren. Um das Problem der Datenknappheit anzugehen, verwenden Ansätze wie Stable Garment und MMTryon eine synthetische Datenstrategie, um die Menge an gepaarten Daten auf der Modellseite effektiv zu erhöhen. Allerdings sind bestehende Methoden in der Regel auf bestimmte Anprobenaufgaben beschränkt und mangelt es an Benutzerfreundlichkeit. Um die Verallgemeinerung und Steuerbarkeit der VTON-Generierung zu verbessern, schlagen wir Any2AnyTryon vor, das Anprobenergebnisse auf der Grundlage verschiedener textueller Anweisungen und Modellkleidungsbilder generieren kann, um verschiedenen Anforderungen gerecht zu werden, ohne auf Masken, Posen oder andere Bedingungen angewiesen zu sein. Konkret konstruieren wir zunächst den virtuellen Anprobendatensatz LAION-Garment, den größten bekannten Open-Source-Kleidungsstück-Anprobendatensatz. Anschließend führen wir adaptive Positionsembedding ein, das es dem Modell ermöglicht, zufriedenstellende angezogene Modellbilder oder Kleidungsbilder basierend auf Eingabebildern unterschiedlicher Größen und Kategorien zu generieren und somit die Verallgemeinerung und Steuerbarkeit der VTON-Generierung signifikant zu verbessern. In unseren Experimenten zeigen wir die Wirksamkeit unseres Any2AnyTryon und vergleichen es mit bestehenden Methoden. Die Ergebnisse zeigen, dass Any2AnyTryon eine flexible, steuerbare und hochwertige bildbasierte virtuelle Anprobengenerierung ermöglicht.

English

Image-based virtual try-on (VTON) aims to generate a virtual try-on result by transferring an input garment onto a target person's image. However, the scarcity of paired garment-model data makes it challenging for existing methods to achieve high generalization and quality in VTON. Also, it limits the ability to generate mask-free try-ons. To tackle the data scarcity problem, approaches such as Stable Garment and MMTryon use a synthetic data strategy, effectively increasing the amount of paired data on the model side. However, existing methods are typically limited to performing specific try-on tasks and lack user-friendliness. To enhance the generalization and controllability of VTON generation, we propose Any2AnyTryon, which can generate try-on results based on different textual instructions and model garment images to meet various needs, eliminating the reliance on masks, poses, or other conditions. Specifically, we first construct the virtual try-on dataset LAION-Garment, the largest known open-source garment try-on dataset. Then, we introduce adaptive position embedding, which enables the model to generate satisfactory outfitted model images or garment images based on input images of different sizes and categories, significantly enhancing the generalization and controllability of VTON generation. In our experiments, we demonstrate the effectiveness of our Any2AnyTryon and compare it with existing methods. The results show that Any2AnyTryon enables flexible, controllable, and high-quality image-based virtual try-on generation.https://logn-2024.github.io/Any2anyTryonProjectPage/