VideoGrain: Модулирование пространственно-временного внимания для многоуровневого видео-редактирования

VideoGrain: Modulating Space-Time Attention for Multi-grained Video Editing

February 24, 2025

Авторы: Xiangpeng Yang, Linchao Zhu, Hehe Fan, Yi Yang

cs.AI

Аннотация

Недавние достижения в моделях диффузии значительно улучшили возможности генерации и редактирования видео. Однако многозернистое редактирование видео, которое включает в себя модификации на уровне класса, экземпляра и части, остается серьезным вызовом. Основные трудности в многозернистом редактировании включают семантическое несоответствие управления текстом к региону и связывание признаков в модели диффузии. Для решения этих трудностей мы представляем VideoGrain, подход с нулевой настройкой, который модулирует пространственно-временные механизмы внимания (перекрестные и собственные) для достижения тонкого контроля над содержимым видео. Мы улучшаем управление текстом к региону, усиливая внимание к каждому локальному подсказыванию к его соответствующему пространственно-разделенному региону, минимизируя взаимодействия с нерелевантными областями в перекрестном внимании. Кроме того, мы улучшаем разделение признаков путем увеличения осведомленности внутри региона и уменьшения межрегиональных помех в собственном внимании. Обширные эксперименты демонстрируют, что наш метод достигает передовой производительности в реальных сценариях. Наш код, данные и демонстрации доступны по адресу https://knightyxp.github.io/VideoGrain_project_page/

English

Recent advancements in diffusion models have significantly improved video generation and editing capabilities. However, multi-grained video editing, which encompasses class-level, instance-level, and part-level modifications, remains a formidable challenge. The major difficulties in multi-grained editing include semantic misalignment of text-to-region control and feature coupling within the diffusion model. To address these difficulties, we present VideoGrain, a zero-shot approach that modulates space-time (cross- and self-) attention mechanisms to achieve fine-grained control over video content. We enhance text-to-region control by amplifying each local prompt's attention to its corresponding spatial-disentangled region while minimizing interactions with irrelevant areas in cross-attention. Additionally, we improve feature separation by increasing intra-region awareness and reducing inter-region interference in self-attention. Extensive experiments demonstrate our method achieves state-of-the-art performance in real-world scenarios. Our code, data, and demos are available at https://knightyxp.github.io/VideoGrain_project_page/