AnimeerAlles: Consistente en Controleerbare Animatie voor Video Generatie

AnimateAnything: Consistent and Controllable Animation for Video Generation

November 16, 2024

Auteurs: Guojun Lei, Chi Wang, Hong Li, Rong Zhang, Yikai Wang, Weiwei Xu

cs.AI

Samenvatting

We presenteren een verenigde controleerbare video generatie benadering AnimateAnything die precieze en consistente videomanipulatie mogelijk maakt onder verschillende omstandigheden, waaronder cameratrajecten, tekstprompts en gebruikersbewegingsannotaties. Specifiek ontwerpen we zorgvuldig een multi-schaal controle eigenschap fusie netwerk om een gemeenschappelijke bewegingsrepresentatie te construeren voor verschillende omstandigheden. Het zet alle controle-informatie expliciet om in frame-voor-frame optische stromen. Vervolgens nemen we de optische stromen op als bewegingsprioriteiten om de uiteindelijke videogeneratie te sturen. Daarnaast stellen we een frequentie-gebaseerde stabilisatiemodule voor om de flikkering veroorzaakt door grootschalige beweging te verminderen. Het kan de temporele coherentie verbeteren door de frequentiedomeinconsistentie van de video te waarborgen. Experimenten tonen aan dat onze methode beter presteert dan de state-of-the-art benaderingen. Voor meer details en video's, zie de webpagina: https://yu-shaonian.github.io/Animate_Anything/.

English

We present a unified controllable video generation approach AnimateAnything that facilitates precise and consistent video manipulation across various conditions, including camera trajectories, text prompts, and user motion annotations. Specifically, we carefully design a multi-scale control feature fusion network to construct a common motion representation for different conditions. It explicitly converts all control information into frame-by-frame optical flows. Then we incorporate the optical flows as motion priors to guide final video generation. In addition, to reduce the flickering issues caused by large-scale motion, we propose a frequency-based stabilization module. It can enhance temporal coherence by ensuring the video's frequency domain consistency. Experiments demonstrate that our method outperforms the state-of-the-art approaches. For more details and videos, please refer to the webpage: https://yu-shaonian.github.io/Animate_Anything/.