어떤 사람도 애니메이트하기 2: 환경 기능성을 갖춘 고품질 캐릭터 이미지 애니메이션

Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance

February 10, 2025

저자: Li Hu, Guangyuan Wang, Zhen Shen, Xin Gao, Dechao Meng, Lian Zhuo, Peng Zhang, Bang Zhang, Liefeng Bo

cs.AI

초록

최근 확산 모델을 기반으로 한 캐릭터 이미지 애니메이션 방법들은 '누구든지 애니메이션'과 같이 일관성 있고 일반화된 캐릭터 애니메이션을 생성하는 데 상당한 진전을 이루었습니다. 그러나 이러한 방식들은 캐릭터와 그들의 환경 사이에 합리적인 연관성을 만들어내지 못합니다. 이 한계를 극복하기 위해, 우리는 환경 affordance를 갖는 캐릭터를 애니메이션화하기 위한 '누구든지 애니메이션 2'를 제안합니다. 소스 비디오로부터 모션 신호를 추출하는 것을 넘어, 우리는 추가로 조건부 입력으로 환경적 표현을 캡처합니다. 환경은 캐릭터를 제외한 영역으로 정의되며, 우리의 모델은 이러한 영역을 캐릭터로 채워 환경적 맥락을 유지하면서 일관성을 유지합니다. 캐릭터와 환경 간의 관계를 더 효과적으로 특성화하는 형상에 중립적인 마스크 전략을 제안합니다. 또한 객체 상호작용의 충실도를 향상시키기 위해, 상호작용하는 객체의 특성을 추출하기 위해 객체 가이더를 활용하고 특성 주입을 위해 공간 블렌딩을 사용합니다. 더불어, 모델이 더 다양한 모션 패턴을 처리할 수 있도록 하는 자세 변조 전략을 도입합니다. 실험 결과는 제안된 방법의 우수한 성능을 입증합니다.

English

Recent character image animation methods based on diffusion models, such as Animate Anyone, have made significant progress in generating consistent and generalizable character animations. However, these approaches fail to produce reasonable associations between characters and their environments. To address this limitation, we introduce Animate Anyone 2, aiming to animate characters with environment affordance. Beyond extracting motion signals from source video, we additionally capture environmental representations as conditional inputs. The environment is formulated as the region with the exclusion of characters and our model generates characters to populate these regions while maintaining coherence with the environmental context. We propose a shape-agnostic mask strategy that more effectively characterizes the relationship between character and environment. Furthermore, to enhance the fidelity of object interactions, we leverage an object guider to extract features of interacting objects and employ spatial blending for feature injection. We also introduce a pose modulation strategy that enables the model to handle more diverse motion patterns. Experimental results demonstrate the superior performance of the proposed method.