Inserção de Objeto Consciente de Oportunidades por Meio da Difusão Dupla Consciente de Máscara.

Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion

December 19, 2024

Autores: Jixuan He, Wanhua Li, Ye Liu, Junsik Kim, Donglai Wei, Hanspeter Pfister

cs.AI

Resumo

Como uma operação comum de edição de imagens, a composição de imagens envolve a integração de objetos em primeiro plano em cenas de fundo. Neste artigo, expandimos a aplicação do conceito de Affordance de tarefas de composição de imagens centradas no ser humano para um framework de composição de objetos-cena mais geral, abordando a complexa interação entre objetos em primeiro plano e cenas de fundo. Seguindo o princípio da Affordance, definimos a tarefa de inserção de objetos consciente da affordance, que tem como objetivo inserir de forma contínua qualquer objeto em qualquer cena com vários prompts de posição. Para lidar com a questão dos dados limitados e incorporar esta tarefa, construímos o conjunto de dados SAM-FB, que contém mais de 3 milhões de exemplos em mais de 3.000 categorias de objetos. Além disso, propomos o modelo Mask-Aware Dual Diffusion (MADD), que utiliza uma arquitetura de duplo fluxo para denoizar simultaneamente a imagem RGB e a máscara de inserção. Ao modelar explicitamente a máscara de inserção no processo de difusão, o MADD facilita efetivamente a noção de affordance. Resultados experimentais extensivos mostram que nosso método supera os métodos de ponta e apresenta forte desempenho de generalização em imagens do mundo real. Consulte nosso código em https://github.com/KaKituken/affordance-aware-any.

English

As a common image editing operation, image composition involves integrating foreground objects into background scenes. In this paper, we expand the application of the concept of Affordance from human-centered image composition tasks to a more general object-scene composition framework, addressing the complex interplay between foreground objects and background scenes. Following the principle of Affordance, we define the affordance-aware object insertion task, which aims to seamlessly insert any object into any scene with various position prompts. To address the limited data issue and incorporate this task, we constructed the SAM-FB dataset, which contains over 3 million examples across more than 3,000 object categories. Furthermore, we propose the Mask-Aware Dual Diffusion (MADD) model, which utilizes a dual-stream architecture to simultaneously denoise the RGB image and the insertion mask. By explicitly modeling the insertion mask in the diffusion process, MADD effectively facilitates the notion of affordance. Extensive experimental results show that our method outperforms the state-of-the-art methods and exhibits strong generalization performance on in-the-wild images. Please refer to our code on https://github.com/KaKituken/affordance-aware-any.