AnimateAnything: 일관된 및 제어 가능한 비디오 생성을 위한 애니메이션

AnimateAnything: Consistent and Controllable Animation for Video Generation

November 16, 2024

저자: Guojun Lei, Chi Wang, Hong Li, Rong Zhang, Yikai Wang, Weiwei Xu

cs.AI

초록

우리는 통합 가능한 제어 가능한 비디오 생성 접근 방식인 AnimateAnything를 제시합니다. 이는 카메라 궤적, 텍스트 프롬프트 및 사용자 동작 주석을 포함한 다양한 조건에서 정확하고 일관된 비디오 조작을 용이하게 합니다. 구체적으로, 우리는 다양한 조건에 대해 공통의 동작 표현을 구축하기 위해 멀티 스케일 제어 특징 융합 네트워크를 신중하게 설계합니다. 이는 모든 제어 정보를 프레임별 광학 흐름으로 명시적으로 변환합니다. 그런 다음 광학 흐름을 동작 사전으로 통합하여 최종 비디오 생성을 안내합니다. 또한 대규모 동작으로 인한 깜박임 문제를 줄이기 위해 주파수 기반 안정화 모듈을 제안합니다. 이 모듈은 비디오의 주파수 영역 일관성을 보장하여 시간적 일관성을 향상시킬 수 있습니다. 실험 결과, 우리의 방법이 최첨단 접근 방식을 능가함을 입증합니다. 자세한 내용 및 비디오는 다음 웹페이지를 참조하십시오: https://yu-shaonian.github.io/Animate_Anything/.

English

We present a unified controllable video generation approach AnimateAnything that facilitates precise and consistent video manipulation across various conditions, including camera trajectories, text prompts, and user motion annotations. Specifically, we carefully design a multi-scale control feature fusion network to construct a common motion representation for different conditions. It explicitly converts all control information into frame-by-frame optical flows. Then we incorporate the optical flows as motion priors to guide final video generation. In addition, to reduce the flickering issues caused by large-scale motion, we propose a frequency-based stabilization module. It can enhance temporal coherence by ensuring the video's frequency domain consistency. Experiments demonstrate that our method outperforms the state-of-the-art approaches. For more details and videos, please refer to the webpage: https://yu-shaonian.github.io/Animate_Anything/.