FramePainter: Наделяя интерактивное редактирование изображений диффузией видео-предпосылок

FramePainter: Endowing Interactive Image Editing with Video Diffusion Priors

January 14, 2025

Авторы: Yabo Zhang, Xinpeng Zhou, Yihan Zeng, Hang Xu, Hui Li, Wangmeng Zuo

cs.AI

Аннотация

Интерактивное редактирование изображений позволяет пользователям изменять изображения с помощью визуальных операций взаимодействия, таких как рисование, клики и перетаскивание. Существующие методы создают такие сигналы наблюдения из видео, поскольку они фиксируют, как объекты изменяются при различных физических взаимодействиях. Однако эти модели обычно строятся на моделях диффузии текста в изображение, что требует (i) огромного количества обучающих примеров и (ii) дополнительного кодировщика для изучения динамики реального мира и визуальной последовательности. В данной статье мы переформулируем эту задачу как проблему генерации изображения в видео, чтобы унаследовать мощные видео-предшественники диффузии для снижения затрат на обучение и обеспечения временной последовательности. Конкретно, мы представляем FramePainter как эффективную реализацию этой формулировки. Инициализированный стабильной диффузией видео, он использует только легкий разреженный управляющий кодировщик для внедрения сигналов редактирования. Учитывая ограничения временного внимания в обработке большого движения между двумя кадрами, мы далее предлагаем соответствующее внимание для увеличения поля зрения, одновременно поощряя плотную соответственность между отредактированными и исходными токенами изображения. Мы подчеркиваем эффективность и эффективность FramePainter в различных сигналах редактирования: он превосходит предыдущие передовые методы с гораздо меньшим объемом обучающих данных, достигая высококачественного и последовательного редактирования изображений, например, автоматической коррекции отражения чашки. Более того, FramePainter также проявляет исключительную обобщенность в сценариях, которые отсутствуют в реальных видео, например, преобразование рыбки-клоуна в форму похожую на акулу. Наш код будет доступен по адресу https://github.com/YBYBZhang/FramePainter.

English

Interactive image editing allows users to modify images through visual interaction operations such as drawing, clicking, and dragging. Existing methods construct such supervision signals from videos, as they capture how objects change with various physical interactions. However, these models are usually built upon text-to-image diffusion models, so necessitate (i) massive training samples and (ii) an additional reference encoder to learn real-world dynamics and visual consistency. In this paper, we reformulate this task as an image-to-video generation problem, so that inherit powerful video diffusion priors to reduce training costs and ensure temporal consistency. Specifically, we introduce FramePainter as an efficient instantiation of this formulation. Initialized with Stable Video Diffusion, it only uses a lightweight sparse control encoder to inject editing signals. Considering the limitations of temporal attention in handling large motion between two frames, we further propose matching attention to enlarge the receptive field while encouraging dense correspondence between edited and source image tokens. We highlight the effectiveness and efficiency of FramePainter across various of editing signals: it domainantly outperforms previous state-of-the-art methods with far less training data, achieving highly seamless and coherent editing of images, \eg, automatically adjust the reflection of the cup. Moreover, FramePainter also exhibits exceptional generalization in scenarios not present in real-world videos, \eg, transform the clownfish into shark-like shape. Our code will be available at https://github.com/YBYBZhang/FramePainter.