Add-it: Training-vrije objectinvoeging in afbeeldingen met vooraf getrainde Diffusion-modellen

Add-it: Training-Free Object Insertion in Images With Pretrained Diffusion Models

November 11, 2024

Auteurs: Yoad Tewel, Rinon Gal, Dvir Samuel Yuval Atzmon, Lior Wolf, Gal Chechik

cs.AI

Samenvatting

Het toevoegen van objecten aan afbeeldingen op basis van tekstinstructies is een uitdagende taak in semantische beeldbewerking, waarbij een balans nodig is tussen het behouden van de oorspronkelijke scène en het naadloos integreren van het nieuwe object op een passende locatie. Ondanks uitgebreide inspanningen hebben bestaande modellen vaak moeite met deze balans, vooral met het vinden van een natuurlijke locatie voor het toevoegen van een object in complexe scènes. We introduceren Add-it, een aanpak zonder training die de aandachtsmechanismen van diffusiemodellen uitbreidt om informatie van drie belangrijke bronnen op te nemen: de scèneafbeelding, de tekstprompt en de gegenereerde afbeelding zelf. Ons gewogen uitgebreide-aandachtsmechanisme handhaaft structurele consistentie en fijne details terwijl het zorgt voor een natuurlijke plaatsing van objecten. Zonder specifieke fijnafstemming voor taken behaalt Add-it state-of-the-art resultaten op zowel echte als gegenereerde afbeeldingsinvoegingsbenchmarks, inclusief onze nieuw ontwikkelde "Toevoegingsaffiniteitsbenchmark" voor het evalueren van de geloofwaardigheid van objectplaatsing, waarbij het toezicht houdende methoden overtreft. Menselijke evaluaties tonen aan dat Add-it in meer dan 80% van de gevallen de voorkeur geniet, en het laat ook verbeteringen zien in verschillende geautomatiseerde metingen.

English

Adding Object into images based on text instructions is a challenging task in semantic image editing, requiring a balance between preserving the original scene and seamlessly integrating the new object in a fitting location. Despite extensive efforts, existing models often struggle with this balance, particularly with finding a natural location for adding an object in complex scenes. We introduce Add-it, a training-free approach that extends diffusion models' attention mechanisms to incorporate information from three key sources: the scene image, the text prompt, and the generated image itself. Our weighted extended-attention mechanism maintains structural consistency and fine details while ensuring natural object placement. Without task-specific fine-tuning, Add-it achieves state-of-the-art results on both real and generated image insertion benchmarks, including our newly constructed "Additing Affordance Benchmark" for evaluating object placement plausibility, outperforming supervised methods. Human evaluations show that Add-it is preferred in over 80% of cases, and it also demonstrates improvements in various automated metrics.