FashionComposer: Geração de Imagens de Moda Composicional

FashionComposer: Compositional Fashion Image Generation

December 18, 2024

Autores: Sihui Ji, Yiyang Wang, Xi Chen, Xiaogang Xu, Hao Luo, Hengshuang Zhao

cs.AI

Resumo

Apresentamos o FashionComposer para geração de imagens de moda compositivas. Ao contrário de métodos anteriores, o FashionComposer é altamente flexível. Ele aceita entrada multimodal (ou seja, texto de estímulo, modelo humano paramétrico, imagem de vestuário e imagem facial) e suporta a personalização da aparência, pose e figura do humano, além de atribuir múltiplos trajes de uma só vez. Para alcançar isso, primeiro desenvolvemos um framework universal capaz de lidar com diversas modalidades de entrada. Construímos dados de treinamento escalonados para aprimorar as robustas capacidades composicionais do modelo. Para acomodar várias imagens de referência (trajes e rostos) de forma integrada, organizamos essas referências em uma única imagem como uma "biblioteca de ativos" e utilizamos uma UNet de referência para extrair características de aparência. Para injetar as características de aparência nos pixels corretos no resultado gerado, propomos a atenção de ligação ao sujeito. Ela vincula as características de aparência de diferentes "ativos" com as características de texto correspondentes. Dessa forma, o modelo pode compreender cada ativo de acordo com sua semântica, suportando números e tipos arbitrários de imagens de referência. Como uma solução abrangente, o FashionComposer também suporta muitas outras aplicações, como geração de álbuns humanos, diversas tarefas de experimentação virtual, etc.

English

We present FashionComposer for compositional fashion image generation. Unlike previous methods, FashionComposer is highly flexible. It takes multi-modal input (i.e., text prompt, parametric human model, garment image, and face image) and supports personalizing the appearance, pose, and figure of the human and assigning multiple garments in one pass. To achieve this, we first develop a universal framework capable of handling diverse input modalities. We construct scaled training data to enhance the model's robust compositional capabilities. To accommodate multiple reference images (garments and faces) seamlessly, we organize these references in a single image as an "asset library" and employ a reference UNet to extract appearance features. To inject the appearance features into the correct pixels in the generated result, we propose subject-binding attention. It binds the appearance features from different "assets" with the corresponding text features. In this way, the model could understand each asset according to their semantics, supporting arbitrary numbers and types of reference images. As a comprehensive solution, FashionComposer also supports many other applications like human album generation, diverse virtual try-on tasks, etc.