Inserimento di oggetti consapevole delle affordance tramite diffusione duale consapevole delle maschere.

Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion

December 19, 2024

Autori: Jixuan He, Wanhua Li, Ye Liu, Junsik Kim, Donglai Wei, Hanspeter Pfister

cs.AI

Abstract

Come operazione comune di modifica delle immagini, la composizione delle immagini implica l'integrazione degli oggetti in primo piano nelle scene di sfondo. In questo articolo, ampliamo l'applicazione del concetto di Affordance dalle attività di composizione delle immagini incentrate sull'essere umano a un framework più generale di composizione oggetto-scena, affrontando l'interazione complessa tra gli oggetti in primo piano e le scene di sfondo. Seguendo il principio dell'Affordance, definiamo il compito di inserimento di oggetti consapevoli dell'affordance, che mira a inserire senza soluzione di continuità qualsiasi oggetto in qualsiasi scena con vari suggerimenti di posizione. Per affrontare il problema dei dati limitati e incorporare questo compito, abbiamo costruito il dataset SAM-FB, che contiene oltre 3 milioni di esempi distribuiti su più di 3.000 categorie di oggetti. Inoltre, proponiamo il modello Mask-Aware Dual Diffusion (MADD), che utilizza un'architettura a doppio flusso per denoizzare simultaneamente l'immagine RGB e la maschera di inserimento. Modellando esplicitamente la maschera di inserimento nel processo di diffusione, MADD facilita efficacemente il concetto di affordance. Estesi risultati sperimentali mostrano che il nostro metodo supera i metodi all'avanguardia e presenta una forte capacità di generalizzazione sulle immagini in condizioni reali. Si prega di fare riferimento al nostro codice su https://github.com/KaKituken/affordance-aware-any.

English

As a common image editing operation, image composition involves integrating foreground objects into background scenes. In this paper, we expand the application of the concept of Affordance from human-centered image composition tasks to a more general object-scene composition framework, addressing the complex interplay between foreground objects and background scenes. Following the principle of Affordance, we define the affordance-aware object insertion task, which aims to seamlessly insert any object into any scene with various position prompts. To address the limited data issue and incorporate this task, we constructed the SAM-FB dataset, which contains over 3 million examples across more than 3,000 object categories. Furthermore, we propose the Mask-Aware Dual Diffusion (MADD) model, which utilizes a dual-stream architecture to simultaneously denoise the RGB image and the insertion mask. By explicitly modeling the insertion mask in the diffusion process, MADD effectively facilitates the notion of affordance. Extensive experimental results show that our method outperforms the state-of-the-art methods and exhibits strong generalization performance on in-the-wild images. Please refer to our code on https://github.com/KaKituken/affordance-aware-any.