Edicho: Edição de Imagens Consistente na Natureza

Edicho: Consistent Image Editing in the Wild

December 30, 2024

Autores: Qingyan Bai, Hao Ouyang, Yinghao Xu, Qiuyu Wang, Ceyuan Yang, Ka Leong Cheng, Yujun Shen, Qifeng Chen

cs.AI

Resumo

Como uma necessidade verificada, a edição consistente em imagens do mundo real continua sendo um desafio técnico decorrente de vários fatores incontroláveis, como poses de objetos, condições de iluminação e ambientes de fotografia. O Edicho entra com uma solução sem necessidade de treinamento baseada em modelos de difusão, apresentando um princípio de design fundamental de usar correspondência explícita de imagens para orientar a edição. Especificamente, os principais componentes incluem um módulo de manipulação de atenção e uma estratégia de denoising de orientação livre de classificador cuidadosamente refinada (CFG), ambos levando em consideração a correspondência pré-estimada. Esse algoritmo de tempo de inferência desfruta de uma natureza plug-and-play e é compatível com a maioria dos métodos de edição baseados em difusão, como ControlNet e BrushNet. Resultados extensivos demonstram a eficácia do Edicho na edição consistente entre imagens sob configurações diversas. Vamos disponibilizar o código para facilitar estudos futuros.

English

As a verified need, consistent editing across in-the-wild images remains a technical challenge arising from various unmanageable factors, like object poses, lighting conditions, and photography environments. Edicho steps in with a training-free solution based on diffusion models, featuring a fundamental design principle of using explicit image correspondence to direct editing. Specifically, the key components include an attention manipulation module and a carefully refined classifier-free guidance (CFG) denoising strategy, both of which take into account the pre-estimated correspondence. Such an inference-time algorithm enjoys a plug-and-play nature and is compatible to most diffusion-based editing methods, such as ControlNet and BrushNet. Extensive results demonstrate the efficacy of Edicho in consistent cross-image editing under diverse settings. We will release the code to facilitate future studies.