FramePainter: Dotando a Edição Interativa de Imagens com Difusão de Vídeo Prévias

FramePainter: Endowing Interactive Image Editing with Video Diffusion Priors

January 14, 2025

Autores: Yabo Zhang, Xinpeng Zhou, Yihan Zeng, Hang Xu, Hui Li, Wangmeng Zuo

cs.AI

Resumo

A edição interativa de imagens permite aos usuários modificar imagens por meio de operações de interação visual, como desenho, clique e arrastar. Métodos existentes constroem esses sinais de supervisão a partir de vídeos, pois capturam como os objetos mudam com várias interações físicas. No entanto, esses modelos geralmente são construídos com base em modelos de difusão de texto para imagem, o que requer (i) enormes amostras de treinamento e (ii) um codificador de referência adicional para aprender dinâmicas do mundo real e consistência visual. Neste artigo, reformulamos essa tarefa como um problema de geração de imagem para vídeo, para herdar poderosos conhecimentos prévios de difusão de vídeo a fim de reduzir custos de treinamento e garantir consistência temporal. Especificamente, apresentamos o FramePainter como uma instância eficiente dessa formulação. Inicializado com Difusão de Vídeo Estável, ele utiliza apenas um codificador de controle esparsamente leve para injetar sinais de edição. Considerando as limitações da atenção temporal em lidar com grandes movimentos entre dois quadros, propomos ainda uma atenção correspondente para ampliar o campo receptivo, ao mesmo tempo que incentivamos uma correspondência densa entre tokens de imagem editados e de origem. Destacamos a eficácia e eficiência do FramePainter em vários sinais de edição: supera significativamente métodos anteriores de ponta com muito menos dados de treinamento, alcançando uma edição altamente contínua e coerente de imagens, como ajustar automaticamente o reflexo da xícara. Além disso, o FramePainter também demonstra uma generalização excepcional em cenários não presentes em vídeos do mundo real, como transformar o peixe-palhaço em uma forma semelhante a um tubarão. Nosso código estará disponível em https://github.com/YBYBZhang/FramePainter.

English

Interactive image editing allows users to modify images through visual interaction operations such as drawing, clicking, and dragging. Existing methods construct such supervision signals from videos, as they capture how objects change with various physical interactions. However, these models are usually built upon text-to-image diffusion models, so necessitate (i) massive training samples and (ii) an additional reference encoder to learn real-world dynamics and visual consistency. In this paper, we reformulate this task as an image-to-video generation problem, so that inherit powerful video diffusion priors to reduce training costs and ensure temporal consistency. Specifically, we introduce FramePainter as an efficient instantiation of this formulation. Initialized with Stable Video Diffusion, it only uses a lightweight sparse control encoder to inject editing signals. Considering the limitations of temporal attention in handling large motion between two frames, we further propose matching attention to enlarge the receptive field while encouraging dense correspondence between edited and source image tokens. We highlight the effectiveness and efficiency of FramePainter across various of editing signals: it domainantly outperforms previous state-of-the-art methods with far less training data, achieving highly seamless and coherent editing of images, \eg, automatically adjust the reflection of the cup. Moreover, FramePainter also exhibits exceptional generalization in scenarios not present in real-world videos, \eg, transform the clownfish into shark-like shape. Our code will be available at https://github.com/YBYBZhang/FramePainter.