Add-it: Inserimento di oggetti senza addestramento in immagini con modelli di diffusione preaddestrati

Add-it: Training-Free Object Insertion in Images With Pretrained Diffusion Models

November 11, 2024

Autori: Yoad Tewel, Rinon Gal, Dvir Samuel Yuval Atzmon, Lior Wolf, Gal Chechik

cs.AI

Abstract

Aggiungere un oggetto nelle immagini basandosi su istruzioni testuali è un compito impegnativo nell'ambito dell'editing semantico delle immagini, richiedendo un equilibrio tra la conservazione della scena originale e l'integrazione senza soluzione di continuità del nuovo oggetto in una posizione appropriata. Nonostante gli sforzi considerevoli, i modelli esistenti spesso faticano con questo equilibrio, in particolare nel trovare una posizione naturale per aggiungere un oggetto in scene complesse. Presentiamo Add-it, un approccio senza addestramento che estende i meccanismi di attenzione dei modelli di diffusione per incorporare informazioni da tre fonti chiave: l'immagine della scena, il prompt testuale e l'immagine generata stessa. Il nostro meccanismo di attenzione estesa ponderata mantiene la coerenza strutturale e i dettagli fini garantendo al contempo una collocazione naturale dell'oggetto. Senza un raffinamento specifico del compito, Add-it raggiunge risultati all'avanguardia sia su benchmark di inserimento di immagini reali che generate, inclusa la nostra nuova "Additing Affordance Benchmark" per valutare la plausibilità della collocazione dell'oggetto, superando i metodi supervisionati. Le valutazioni umane mostrano che Add-it è preferito in oltre l'80% dei casi e dimostra anche miglioramenti in vari metriche automatizzate.

English

Adding Object into images based on text instructions is a challenging task in semantic image editing, requiring a balance between preserving the original scene and seamlessly integrating the new object in a fitting location. Despite extensive efforts, existing models often struggle with this balance, particularly with finding a natural location for adding an object in complex scenes. We introduce Add-it, a training-free approach that extends diffusion models' attention mechanisms to incorporate information from three key sources: the scene image, the text prompt, and the generated image itself. Our weighted extended-attention mechanism maintains structural consistency and fine details while ensuring natural object placement. Without task-specific fine-tuning, Add-it achieves state-of-the-art results on both real and generated image insertion benchmarks, including our newly constructed "Additing Affordance Benchmark" for evaluating object placement plausibility, outperforming supervised methods. Human evaluations show that Add-it is preferred in over 80% of cases, and it also demonstrates improvements in various automated metrics.