Mobius: Генерация бесшовных зацикленных видео из текста посредством латентного сдвига

Mobius: Text to Seamless Looping Video Generation via Latent Shift

February 27, 2025

Авторы: Xiuli Bi, Jianfei Yuan, Bo Liu, Yong Zhang, Xiaodong Cun, Chi-Man Pun, Bin Xiao

cs.AI

Аннотация

Мы представляем Mobius — новый метод генерации бесшовно зацикленных видео непосредственно из текстовых описаний без каких-либо пользовательских аннотаций, что позволяет создавать новые визуальные материалы для мультимедийных презентаций. Наш метод адаптирует предобученную модель латентной диффузии видео для генерации зацикленных видео из текстовых запросов без дополнительного обучения. На этапе вывода мы сначала создаем латентный цикл, соединяя начальный и конечный шум видео. Учитывая, что временная согласованность может быть сохранена благодаря контексту модели диффузии видео, мы выполняем многофреймовое латентное шумоподавление, постепенно сдвигая латентное представление первого кадра к концу на каждом шаге. В результате контекст шумоподавления изменяется на каждом шаге, сохраняя согласованность на протяжении всего процесса вывода. Более того, латентный цикл в нашем методе может иметь любую длину. Это расширяет наш подход с латентным сдвигом для генерации бесшовно зацикленных видео за пределы контекста модели диффузии видео. В отличие от предыдущих методов создания синемаграфов, предложенный метод не требует изображения в качестве основы, что ограничивало бы движения в генерируемых результатах. Вместо этого наш метод способен создавать более динамичные движения и обеспечивать лучшее визуальное качество. Мы провели множество экспериментов и сравнений, чтобы подтвердить эффективность предложенного метода, демонстрируя его применимость в различных сценариях. Весь код будет опубликован.

English

We present Mobius, a novel method to generate seamlessly looping videos from text descriptions directly without any user annotations, thereby creating new visual materials for the multi-media presentation. Our method repurposes the pre-trained video latent diffusion model for generating looping videos from text prompts without any training. During inference, we first construct a latent cycle by connecting the starting and ending noise of the videos. Given that the temporal consistency can be maintained by the context of the video diffusion model, we perform multi-frame latent denoising by gradually shifting the first-frame latent to the end in each step. As a result, the denoising context varies in each step while maintaining consistency throughout the inference process. Moreover, the latent cycle in our method can be of any length. This extends our latent-shifting approach to generate seamless looping videos beyond the scope of the video diffusion model's context. Unlike previous cinemagraphs, the proposed method does not require an image as appearance, which will restrict the motions of the generated results. Instead, our method can produce more dynamic motion and better visual quality. We conduct multiple experiments and comparisons to verify the effectiveness of the proposed method, demonstrating its efficacy in different scenarios. All the code will be made available.