개인화된 다중 의류를 사용한 조절 가능한 인간 이미지 생성

Controllable Human Image Generation with Personalized Multi-Garments

November 25, 2024

저자: Yisol Choi, Sangkyung Kwak, Sihyun Yu, Hyungwon Choi, Jinwoo Shin

cs.AI

초록

우리는 다중 참조 의복을 사용한 조절 가능한 인간 이미지 생성을 위한 텍스트-이미지 확산 모델을 기반으로 한 혁신적인 BootComp 프레임워크를 제안합니다. 여기서 주요 병목은 훈련을 위한 데이터 획득입니다: 각 인간이 입은 고품질 참조 의복 이미지의 대규모 데이터셋을 수집하는 것은 매우 어렵습니다. 즉, 이상적으로는 각 인간이 입은 모든 의복 사진을 수동으로 수집해야 합니다. 이를 해결하기 위해 우리는 데이터 생성 파이프라인을 제안하여 각 인간 이미지에서 어떤 참조 의복 이미지든 추출하는 모델을 도입하여 인간과 다중 의복 쌍으로 이루어진 대규모 합성 데이터셋을 구축합니다. 데이터 품질을 보장하기 위해 우리는 또한 인간 이미지에 제시된 의복과 추출된 의복 사이의 지각적 유사성을 측정하여 원치 않는 생성된 데이터를 제거하는 필터링 전략을 제안합니다. 마지막으로 구축된 합성 데이터셋을 활용하여 미세한 세부 사항을 보존하면서 인간 이미지를 생성하기 위해 여러 의복 이미지를 조건으로 사용하는 두 병렬 노이즈 제거 경로를 갖는 확산 모델을 훈련시킵니다. 또한 우리의 프레임워크의 넓은 적용 가능성을 보여주기 위해 패션 분야에서 가상 시착 및 자세, 얼굴 등 다른 조건을 갖는 조절 가능한 인간 이미지 생성에 적용합니다.

English

We present BootComp, a novel framework based on text-to-image diffusion models for controllable human image generation with multiple reference garments. Here, the main bottleneck is data acquisition for training: collecting a large-scale dataset of high-quality reference garment images per human subject is quite challenging, i.e., ideally, one needs to manually gather every single garment photograph worn by each human. To address this, we propose a data generation pipeline to construct a large synthetic dataset, consisting of human and multiple-garment pairs, by introducing a model to extract any reference garment images from each human image. To ensure data quality, we also propose a filtering strategy to remove undesirable generated data based on measuring perceptual similarities between the garment presented in human image and extracted garment. Finally, by utilizing the constructed synthetic dataset, we train a diffusion model having two parallel denoising paths that use multiple garment images as conditions to generate human images while preserving their fine-grained details. We further show the wide-applicability of our framework by adapting it to different types of reference-based generation in the fashion domain, including virtual try-on, and controllable human image generation with other conditions, e.g., pose, face, etc.