LOCATEdit: Ottimizzazione della Cross-Attention tramite Laplaciano del Grafo per l'Editing Localizzato di Immagini Guidato da Testo

LOCATEdit: Graph Laplacian Optimized Cross Attention for Localized Text-Guided Image Editing

March 27, 2025

Autori: Achint Soni, Meet Soni, Sirisha Rambhatla

cs.AI

Abstract

L'editing di immagini guidato da testo mira a modificare specifiche regioni di un'immagine in base a istruzioni in linguaggio naturale, mantenendo la struttura generale e la fedeltà dello sfondo. I metodi esistenti utilizzano maschere derivate da mappe di cross-attention generate da modelli di diffusione per identificare le regioni target da modificare. Tuttavia, poiché i meccanismi di cross-attention si concentrano sulla rilevanza semantica, faticano a mantenere l'integrità dell'immagine. Di conseguenza, questi metodi spesso mancano di coerenza spaziale, portando ad artefatti e distorsioni durante l'editing. In questo lavoro, affrontiamo queste limitazioni e introduciamo LOCATEdit, che migliora le mappe di cross-attention attraverso un approccio basato su grafi che utilizza le relazioni tra patch derivate dalla self-attention per mantenere un'attenzione fluida e coerente tra le regioni dell'immagine, garantendo che le alterazioni siano limitate agli elementi designati preservando la struttura circostante. \method supera costantemente e significativamente i baseline esistenti su PIE-Bench, dimostrando le sue prestazioni all'avanguardia e l'efficacia in varie attività di editing. Il codice è disponibile su https://github.com/LOCATEdit/LOCATEdit/

English

Text-guided image editing aims to modify specific regions of an image according to natural language instructions while maintaining the general structure and the background fidelity. Existing methods utilize masks derived from cross-attention maps generated from diffusion models to identify the target regions for modification. However, since cross-attention mechanisms focus on semantic relevance, they struggle to maintain the image integrity. As a result, these methods often lack spatial consistency, leading to editing artifacts and distortions. In this work, we address these limitations and introduce LOCATEdit, which enhances cross-attention maps through a graph-based approach utilizing self-attention-derived patch relationships to maintain smooth, coherent attention across image regions, ensuring that alterations are limited to the designated items while retaining the surrounding structure. \method consistently and substantially outperforms existing baselines on PIE-Bench, demonstrating its state-of-the-art performance and effectiveness on various editing tasks. Code can be found on https://github.com/LOCATEdit/LOCATEdit/