Add-it: Training-freies Objekteinfügen in Bildern mit vortrainierten Diffusionsmodellen

Add-it: Training-Free Object Insertion in Images With Pretrained Diffusion Models

November 11, 2024

Autoren: Yoad Tewel, Rinon Gal, Dvir Samuel Yuval Atzmon, Lior Wolf, Gal Chechik

cs.AI

Zusammenfassung

Das Hinzufügen von Objekten in Bildern basierend auf Textanweisungen ist eine anspruchsvolle Aufgabe im semantischen Bildbearbeitungsbereich, die ein Gleichgewicht zwischen der Bewahrung der Originalszene und der nahtlosen Integration des neuen Objekts an einem passenden Ort erfordert. Trotz umfangreicher Bemühungen haben bestehende Modelle oft Schwierigkeiten mit diesem Gleichgewicht, insbesondere bei der Suche nach einem natürlichen Ort für das Hinzufügen eines Objekts in komplexen Szenen. Wir stellen Add-it vor, einen trainingsfreien Ansatz, der die Aufmerksamkeitsmechanismen von Diffusionsmodellen erweitert, um Informationen aus drei Schlüsselquellen zu integrieren: dem Szenenbild, der Textanweisung und dem generierten Bild selbst. Unser gewichteter erweiterter Aufmerksamkeitsmechanismus gewährleistet strukturelle Konsistenz und feine Details und sorgt gleichzeitig für eine natürliche Platzierung des Objekts. Ohne aufgabenspezifisches Feintuning erzielt Add-it Spitzenleistungsergebnisse sowohl bei echten als auch bei generierten Bild-Einfüge-Benchmarks, einschließlich unseres neu erstellten "Additing Affordance Benchmark" zur Bewertung der Plausibilität der Objektplatzierung, wobei überlegene Ergebnisse im Vergleich zu überwachten Methoden erzielt werden. Menschliche Bewertungen zeigen, dass Add-it in über 80% der Fälle bevorzugt wird und es zeigt auch Verbesserungen in verschiedenen automatisierten Metriken.

English

Adding Object into images based on text instructions is a challenging task in semantic image editing, requiring a balance between preserving the original scene and seamlessly integrating the new object in a fitting location. Despite extensive efforts, existing models often struggle with this balance, particularly with finding a natural location for adding an object in complex scenes. We introduce Add-it, a training-free approach that extends diffusion models' attention mechanisms to incorporate information from three key sources: the scene image, the text prompt, and the generated image itself. Our weighted extended-attention mechanism maintains structural consistency and fine details while ensuring natural object placement. Without task-specific fine-tuning, Add-it achieves state-of-the-art results on both real and generated image insertion benchmarks, including our newly constructed "Additing Affordance Benchmark" for evaluating object placement plausibility, outperforming supervised methods. Human evaluations show that Add-it is preferred in over 80% of cases, and it also demonstrates improvements in various automated metrics.