マスク認識デュアル拡散を介したアフォーダンス認識オブジェクト挿入

Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion

December 19, 2024

著者: Jixuan He, Wanhua Li, Ye Liu, Junsik Kim, Donglai Wei, Hanspeter Pfister

cs.AI

要旨

画像合成は一般的な画像編集操作であり、前景オブジェクトを背景シーンに統合することを含みます。本論文では、人間中心の画像合成タスクからAffordanceの概念の適用範囲を拡大し、前景オブジェクトと背景シーンとの複雑な相互作用に対処する一般的なオブジェクト-シーン合成フレームワークを提案します。Affordanceの原則に従い、我々はアフォーダンスに意識したオブジェクト挿入タスクを定義します。このタスクは、さまざまな位置のプロンプトを用いて任意のオブジェクトをシームレスに任意のシーンに挿入することを目指しています。データの限られた問題に対処し、このタスクを組み込むために、3,000以上のオブジェクトカテゴリを含む3百万以上の例を収録したSAM-FBデータセットを構築しました。さらに、Mask-Aware Dual Diffusion（MADD）モデルを提案します。このモデルは、デュアルストリームアーキテクチャを利用してRGB画像と挿入マスクを同時にノイズ除去します。挿入マスクを拡散プロセスで明示的にモデリングすることで、MADDは効果的にアフォーダンスの概念を促進します。幅広い実験結果により、当社の手法が最先端の手法を凌駕し、野外画像における強力な汎化性能を示すことが示されています。詳細は、https://github.com/KaKituken/affordance-aware-any で公開されているコードをご参照ください。

English

As a common image editing operation, image composition involves integrating foreground objects into background scenes. In this paper, we expand the application of the concept of Affordance from human-centered image composition tasks to a more general object-scene composition framework, addressing the complex interplay between foreground objects and background scenes. Following the principle of Affordance, we define the affordance-aware object insertion task, which aims to seamlessly insert any object into any scene with various position prompts. To address the limited data issue and incorporate this task, we constructed the SAM-FB dataset, which contains over 3 million examples across more than 3,000 object categories. Furthermore, we propose the Mask-Aware Dual Diffusion (MADD) model, which utilizes a dual-stream architecture to simultaneously denoise the RGB image and the insertion mask. By explicitly modeling the insertion mask in the diffusion process, MADD effectively facilitates the notion of affordance. Extensive experimental results show that our method outperforms the state-of-the-art methods and exhibits strong generalization performance on in-the-wild images. Please refer to our code on https://github.com/KaKituken/affordance-aware-any.