Edicho: Modifica Coerente delle Immagini in Ambiente Naturale

Edicho: Consistent Image Editing in the Wild

December 30, 2024

Autori: Qingyan Bai, Hao Ouyang, Yinghao Xu, Qiuyu Wang, Ceyuan Yang, Ka Leong Cheng, Yujun Shen, Qifeng Chen

cs.AI

Abstract

Come necessità verificata, la modifica coerente delle immagini in condizioni reali rimane una sfida tecnica derivante da vari fattori incontrollabili, come pose degli oggetti, condizioni di illuminazione e ambienti fotografici. Edicho interviene con una soluzione senza addestramento basata su modelli di diffusione, che presenta un principio di progettazione fondamentale nell'utilizzo di corrispondenze esplicite delle immagini per guidare la modifica. In particolare, i componenti chiave includono un modulo di manipolazione dell'attenzione e una strategia di denoising senza classificatore (CFG) attentamente raffinata, entrambi considerano la corrispondenza pre-stimata. Tale algoritmo a tempo di inferenza gode di una natura plug-and-play ed è compatibile con la maggior parte dei metodi di modifica basati sulla diffusione, come ControlNet e BrushNet. Risultati estesi dimostrano l'efficacia di Edicho nella modifica coerente tra immagini in diverse configurazioni. Rilasceremo il codice per facilitare futuri studi.

English

As a verified need, consistent editing across in-the-wild images remains a technical challenge arising from various unmanageable factors, like object poses, lighting conditions, and photography environments. Edicho steps in with a training-free solution based on diffusion models, featuring a fundamental design principle of using explicit image correspondence to direct editing. Specifically, the key components include an attention manipulation module and a carefully refined classifier-free guidance (CFG) denoising strategy, both of which take into account the pre-estimated correspondence. Such an inference-time algorithm enjoys a plug-and-play nature and is compatible to most diffusion-based editing methods, such as ControlNet and BrushNet. Extensive results demonstrate the efficacy of Edicho in consistent cross-image editing under diverse settings. We will release the code to facilitate future studies.