Edicho: 野生環境における一貫した画像編集

Edicho: Consistent Image Editing in the Wild

December 30, 2024

著者: Qingyan Bai, Hao Ouyang, Yinghao Xu, Qiuyu Wang, Ceyuan Yang, Ka Leong Cheng, Yujun Shen, Qifeng Chen

cs.AI

要旨

検証された必要性として、野生の画像全体での一貫した編集は、オブジェクトのポーズ、照明条件、写真撮影環境など、さまざまな制御不能な要因から生じる技術的な課題であり続けています。Edichoは、拡散モデルに基づくトレーニング不要の解決策を提供し、明示的な画像対応を使用して編集を誘導する基本的な設計原則を特徴としています。具体的には、注目操作モジュールと注意深く洗練された分類器不要のガイダンス（CFG）ノイズ除去戦略という、事前に推定された対応を考慮した両方の要素が含まれています。この推論時のアルゴリズムは、プラグアンドプレイの性質を持ち、ControlNetやBrushNetなどのほとんどの拡散ベースの編集手法と互換性があります。幅広い結果は、Edichoが多様な設定下での一貫したクロス画像編集において有効であることを示しています。将来の研究を促進するために、コードを公開します。

English

As a verified need, consistent editing across in-the-wild images remains a technical challenge arising from various unmanageable factors, like object poses, lighting conditions, and photography environments. Edicho steps in with a training-free solution based on diffusion models, featuring a fundamental design principle of using explicit image correspondence to direct editing. Specifically, the key components include an attention manipulation module and a carefully refined classifier-free guidance (CFG) denoising strategy, both of which take into account the pre-estimated correspondence. Such an inference-time algorithm enjoys a plug-and-play nature and is compatible to most diffusion-based editing methods, such as ControlNet and BrushNet. Extensive results demonstrate the efficacy of Edicho in consistent cross-image editing under diverse settings. We will release the code to facilitate future studies.