DreamMix: Decoupling degli attributi degli oggetti per una maggiore modificabilità nell'Inpainting personalizzato delle immagini

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

November 26, 2024

Autori: Yicheng Yang, Pengxiang Li, Lu Zhang, Liqian Ma, Ping Hu, Siyu Du, Yunzhi Zhuge, Xu Jia, Huchuan Lu

cs.AI

Abstract

L'inpainting delle immagini guidato dal soggetto è emerso come un compito popolare nell'editing delle immagini insieme ai recenti progressi nei modelli di diffusione. I metodi precedenti si concentrano principalmente sulla conservazione dell'identità ma faticano a mantenere l'editabilità degli oggetti inseriti. In risposta, questo articolo introduce DreamMix, un modello generativo basato sulla diffusione capace di inserire oggetti target in scene date in posizioni specificate dall'utente consentendo contemporaneamente modifiche arbitrarie guidate dal testo ai loro attributi. In particolare, sfruttiamo modelli avanzati di inpainting fondamentali e introduciamo un framework di inpainting locale-globale disaccoppiato per bilanciare l'accurata inserzione locale degli oggetti con un'efficace coerenza visiva globale. Inoltre, proponiamo un Meccanismo di Decoupling degli Attributi (ADM) e un modulo di Sostituzione degli Attributi Testuali (TAS) per migliorare rispettivamente la diversità e la capacità discriminativa dell'orientamento degli attributi basato sul testo. Estesi esperimenti dimostrano che DreamMix bilancia efficacemente la conservazione dell'identità e l'editabilità degli attributi attraverso vari scenari di applicazione, inclusi l'inserimento di oggetti, l'editing degli attributi e l'inpainting di piccoli oggetti. Il nostro codice è pubblicamente disponibile su https://github.com/mycfhs/DreamMix.

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.