FashionComposer: Generazione Compositiva di Immagini di Moda

FashionComposer: Compositional Fashion Image Generation

December 18, 2024

Autori: Sihui Ji, Yiyang Wang, Xi Chen, Xiaogang Xu, Hao Luo, Hengshuang Zhao

cs.AI

Abstract

Presentiamo FashionComposer per la generazione compositiva di immagini di moda. A differenza dei metodi precedenti, FashionComposer è altamente flessibile. Accetta input multi-modali (ovvero, testo di input, modello umano parametrico, immagine di un capo d'abbigliamento e immagine del viso) e supporta la personalizzazione dell'aspetto, della posa e della figura umana, nonché l'assegnazione di più capi in un'unica iterazione. Per raggiungere questo obiettivo, sviluppiamo inizialmente un framework universale in grado di gestire diverse modalità di input. Costruiamo dati di addestramento scalati per potenziare le capacità compositive robuste del modello. Per integrare senza soluzione di continuità più immagini di riferimento (capo d'abbigliamento e visi), organizziamo questi riferimenti in un'unica immagine come una "libreria di risorse" e utilizziamo un UNet di riferimento per estrarre le caratteristiche dell'aspetto. Per inserire le caratteristiche dell'aspetto nei pixel corretti nel risultato generato, proponiamo l'attenzione di legame soggetto. Questo lega le caratteristiche dell'aspetto provenienti da diversi "asset" con le caratteristiche di testo corrispondenti. In questo modo, il modello potrebbe comprendere ciascuna risorsa in base alla loro semantica, supportando numeri e tipi arbitrari di immagini di riferimento. Come soluzione completa, FashionComposer supporta anche molte altre applicazioni come la generazione di album umani, varie attività di prova virtuale, ecc.

English

We present FashionComposer for compositional fashion image generation. Unlike previous methods, FashionComposer is highly flexible. It takes multi-modal input (i.e., text prompt, parametric human model, garment image, and face image) and supports personalizing the appearance, pose, and figure of the human and assigning multiple garments in one pass. To achieve this, we first develop a universal framework capable of handling diverse input modalities. We construct scaled training data to enhance the model's robust compositional capabilities. To accommodate multiple reference images (garments and faces) seamlessly, we organize these references in a single image as an "asset library" and employ a reference UNet to extract appearance features. To inject the appearance features into the correct pixels in the generated result, we propose subject-binding attention. It binds the appearance features from different "assets" with the corresponding text features. In this way, the model could understand each asset according to their semantics, supporting arbitrary numbers and types of reference images. As a comprehensive solution, FashionComposer also supports many other applications like human album generation, diverse virtual try-on tasks, etc.