UIP2P: サイクル編集を介した教示ベースの画像編集のための教師なし学習

UIP2P: Unsupervised Instruction-based Image Editing via Cycle Edit Consistency

December 19, 2024

著者: Enis Simsar, Alessio Tonioni, Yongqin Xian, Thomas Hofmann, Federico Tombari

cs.AI

要旨

我々は、訓練中に正解編集画像の必要性を排除する教示に基づく画像編集のための教師なしモデルを提案します。既存の教師あり方法は、入力画像、編集画像、および編集指示の三つ組を含むデータセットに依存しています。これらは、既存の編集方法または人間による注釈によって生成され、バイアスを導入し一般化能力を制限します。私たちの手法は、サイクル編集一貫性（CEC）と呼ばれる新しい編集メカニズムを導入することで、これらの課題に対処しています。CECは、画像空間と注意空間で一貫性を強制する前向きおよび後ろ向きの編集を一つの訓練ステップで適用することを可能にします。これにより、正解編集画像の必要性を回避し、実画像キャプションペアまたは画像キャプション編集三つ組からなるデータセットで初めて訓練を解除できます。私たちは経験的に示し、教師なし技術が高い忠実度と精度でより広範囲の編集において優れた性能を発揮することを示しています。三つ組の事前存在するデータセットの必要性を排除し、教師あり方法に関連するバイアスを削減し、CECを提案することにより、私たちの研究は教示に基づく画像編集のスケーリングの解除において重要な進歩を表しています。

English

We propose an unsupervised model for instruction-based image editing that eliminates the need for ground-truth edited images during training. Existing supervised methods depend on datasets containing triplets of input image, edited image, and edit instruction. These are generated by either existing editing methods or human-annotations, which introduce biases and limit their generalization ability. Our method addresses these challenges by introducing a novel editing mechanism called Cycle Edit Consistency (CEC), which applies forward and backward edits in one training step and enforces consistency in image and attention spaces. This allows us to bypass the need for ground-truth edited images and unlock training for the first time on datasets comprising either real image-caption pairs or image-caption-edit triplets. We empirically show that our unsupervised technique performs better across a broader range of edits with high fidelity and precision. By eliminating the need for pre-existing datasets of triplets, reducing biases associated with supervised methods, and proposing CEC, our work represents a significant advancement in unblocking scaling of instruction-based image editing.