FramePainter: Dotare l'Editing Interattivo delle Immagini con la Diffusione Video Priors

FramePainter: Endowing Interactive Image Editing with Video Diffusion Priors

January 14, 2025

Autori: Yabo Zhang, Xinpeng Zhou, Yihan Zeng, Hang Xu, Hui Li, Wangmeng Zuo

cs.AI

Abstract

La modifica interattiva delle immagini consente agli utenti di modificare le immagini attraverso operazioni di interazione visiva come disegno, clic e trascinamento. I metodi esistenti costruiscono tali segnali di supervisione dai video, poiché catturano come gli oggetti cambiano con varie interazioni fisiche. Tuttavia, questi modelli sono di solito basati su modelli di diffusione testo-immagine, quindi richiedono (i) campioni di addestramento massicci e (ii) un ulteriore codificatore di riferimento per apprendere dinamiche del mondo reale e coerenza visiva. In questo articolo, riformuliamo questo compito come un problema di generazione immagine-video, in modo da ereditare potenti priorità di diffusione video per ridurre i costi di addestramento e garantire coerenza temporale. In particolare, presentiamo FramePainter come un'efficiente istanziazione di questa formulazione. Inizializzato con Stable Video Diffusion, utilizza solo un leggero codificatore di controllo sparso per iniettare segnali di modifica. Considerando i limiti dell'attenzione temporale nel gestire grandi movimenti tra due fotogrammi, proponiamo inoltre l'attenzione corrispondente per ingrandire il campo recettivo incoraggiando una corrispondenza densa tra i token dell'immagine modificata e dell'immagine di origine. Evidenziamo l'efficacia e l'efficienza di FramePainter attraverso vari segnali di modifica: supera nettamente i metodi precedenti all'avanguardia con molto meno dati di addestramento, raggiungendo una modifica altamente uniforme e coerente delle immagini, ad esempio, regolando automaticamente il riflesso della tazza. Inoltre, FramePainter mostra anche un'eccezionale generalizzazione in scenari non presenti nei video del mondo reale, ad esempio, trasformando il pesce pagliaccio in una forma simile a uno squalo. Il nostro codice sarà disponibile su https://github.com/YBYBZhang/FramePainter.

English

Interactive image editing allows users to modify images through visual interaction operations such as drawing, clicking, and dragging. Existing methods construct such supervision signals from videos, as they capture how objects change with various physical interactions. However, these models are usually built upon text-to-image diffusion models, so necessitate (i) massive training samples and (ii) an additional reference encoder to learn real-world dynamics and visual consistency. In this paper, we reformulate this task as an image-to-video generation problem, so that inherit powerful video diffusion priors to reduce training costs and ensure temporal consistency. Specifically, we introduce FramePainter as an efficient instantiation of this formulation. Initialized with Stable Video Diffusion, it only uses a lightweight sparse control encoder to inject editing signals. Considering the limitations of temporal attention in handling large motion between two frames, we further propose matching attention to enlarge the receptive field while encouraging dense correspondence between edited and source image tokens. We highlight the effectiveness and efficiency of FramePainter across various of editing signals: it domainantly outperforms previous state-of-the-art methods with far less training data, achieving highly seamless and coherent editing of images, \eg, automatically adjust the reflection of the cup. Moreover, FramePainter also exhibits exceptional generalization in scenarios not present in real-world videos, \eg, transform the clownfish into shark-like shape. Our code will be available at https://github.com/YBYBZhang/FramePainter.