Generazione di immagini controllabili di persone con abbigliamento personalizzato multi-garments.

Controllable Human Image Generation with Personalized Multi-Garments

November 25, 2024

Autori: Yisol Choi, Sangkyung Kwak, Sihyun Yu, Hyungwon Choi, Jinwoo Shin

cs.AI

Abstract

Presentiamo BootComp, un nuovo framework basato su modelli di diffusione testo-immagine per la generazione controllata di immagini umane con più capi di abbigliamento di riferimento. Qui, il principale ostacolo è l'acquisizione dei dati per l'addestramento: raccogliere un dataset su larga scala di immagini di alta qualità di capi di abbigliamento di riferimento per soggetto umano è piuttosto impegnativo, ovvero idealmente, è necessario raccogliere manualmente ogni singola fotografia di capi indossati da ciascun individuo. Per affrontare questo problema, proponiamo un processo di generazione dati per costruire un ampio dataset sintetico, composto da coppie umane e multi-capi, introducendo un modello per estrarre qualsiasi immagine di capo di abbigliamento di riferimento da ciascuna immagine umana. Per garantire la qualità dei dati, proponiamo anche una strategia di filtraggio per rimuovere dati generati indesiderati basati sulla misurazione delle somiglianze percettive tra il capo presentato nell'immagine umana e il capo estratto. Infine, utilizzando il dataset sintetico costruito, addestriamo un modello di diffusione con due percorsi di denoising paralleli che utilizzano più immagini di capi come condizioni per generare immagini umane preservandone i dettagli più fini. Dimostriamo inoltre l'ampia applicabilità del nostro framework adattandolo a diversi tipi di generazione basata su riferimenti nel settore della moda, inclusi il virtual try-on e la generazione controllata di immagini umane con altre condizioni, come posa, viso, ecc.

English

We present BootComp, a novel framework based on text-to-image diffusion models for controllable human image generation with multiple reference garments. Here, the main bottleneck is data acquisition for training: collecting a large-scale dataset of high-quality reference garment images per human subject is quite challenging, i.e., ideally, one needs to manually gather every single garment photograph worn by each human. To address this, we propose a data generation pipeline to construct a large synthetic dataset, consisting of human and multiple-garment pairs, by introducing a model to extract any reference garment images from each human image. To ensure data quality, we also propose a filtering strategy to remove undesirable generated data based on measuring perceptual similarities between the garment presented in human image and extracted garment. Finally, by utilizing the constructed synthetic dataset, we train a diffusion model having two parallel denoising paths that use multiple garment images as conditions to generate human images while preserving their fine-grained details. We further show the wide-applicability of our framework by adapting it to different types of reference-based generation in the fashion domain, including virtual try-on, and controllable human image generation with other conditions, e.g., pose, face, etc.