AnyDressing: Prova di Abbigliamento Virtuale Multi-Garment Personalizzabile tramite Modelli di Diffusione Latente

AnyDressing: Customizable Multi-Garment Virtual Dressing via Latent Diffusion Models

December 5, 2024

Autori: Xinghui Li, Qichao Sun, Pengze Zhang, Fulong Ye, Zhichao Liao, Wanquan Feng, Songtao Zhao, Qian He

cs.AI

Abstract

I recenti progressi nella generazione di immagini incentrate sull'abbigliamento da testo e prompt di immagine basati su modelli di diffusione sono impressionanti. Tuttavia, i metodi esistenti mancano di supporto per varie combinazioni di abiti e faticano a preservare i dettagli dell'abbigliamento pur mantenendo la fedeltà ai prompt di testo, limitando le loro prestazioni in scenari diversi. In questo articolo, ci concentriamo su un nuovo compito, ovvero l'Abbigliamento Virtuale Multi-Abito, e proponiamo un nuovo metodo chiamato AnyDressing per personalizzare personaggi condizionati da qualsiasi combinazione di abiti e qualsiasi prompt di testo personalizzato. AnyDressing è composto da due reti principali chiamate GarmentsNet e DressingNet, che sono rispettivamente dedicate all'estrazione dettagliata delle caratteristiche dell'abbigliamento e alla generazione di immagini personalizzate. In particolare, proponiamo un modulo efficiente e scalabile chiamato Estrattore di Caratteristiche Specifiche dell'Abito in GarmentsNet per codificare individualmente le texture dell'abbigliamento in parallelo. Questo design previene la confusione dell'abbigliamento garantendo al contempo l'efficienza della rete. Nel frattempo, progettiamo un meccanismo di Attivazione dell'Abbigliamento adattivo e una nuova strategia di Apprendimento della Localizzazione dell'Abito a Livello di Istanza in DressingNet per iniettare accuratamente le caratteristiche multi-abito nelle rispettive regioni. Questo approccio integra efficientemente le indicazioni di texture multi-abito nelle immagini generate e migliora ulteriormente la coerenza tra testo e immagine. Inoltre, introduciamo una strategia di Apprendimento della Texture Potenziata dall'Abito per migliorare i dettagli della texture a grana fine degli abiti. Grazie al nostro design ben strutturato, AnyDressing può fungere da modulo aggiuntivo per integrarsi facilmente con eventuali estensioni di controllo della comunità per modelli di diffusione, migliorando la diversità e la controllabilità delle immagini sintetizzate. Estesi esperimenti dimostrano che AnyDressing raggiunge risultati all'avanguardia.

English

Recent advances in garment-centric image generation from text and image prompts based on diffusion models are impressive. However, existing methods lack support for various combinations of attire, and struggle to preserve the garment details while maintaining faithfulness to the text prompts, limiting their performance across diverse scenarios. In this paper, we focus on a new task, i.e., Multi-Garment Virtual Dressing, and we propose a novel AnyDressing method for customizing characters conditioned on any combination of garments and any personalized text prompts. AnyDressing comprises two primary networks named GarmentsNet and DressingNet, which are respectively dedicated to extracting detailed clothing features and generating customized images. Specifically, we propose an efficient and scalable module called Garment-Specific Feature Extractor in GarmentsNet to individually encode garment textures in parallel. This design prevents garment confusion while ensuring network efficiency. Meanwhile, we design an adaptive Dressing-Attention mechanism and a novel Instance-Level Garment Localization Learning strategy in DressingNet to accurately inject multi-garment features into their corresponding regions. This approach efficiently integrates multi-garment texture cues into generated images and further enhances text-image consistency. Additionally, we introduce a Garment-Enhanced Texture Learning strategy to improve the fine-grained texture details of garments. Thanks to our well-craft design, AnyDressing can serve as a plug-in module to easily integrate with any community control extensions for diffusion models, improving the diversity and controllability of synthesized images. Extensive experiments show that AnyDressing achieves state-of-the-art results.