AnchorCrafter: 인간-물체 상호작용 비디오 생성을 통해 제품을 판매하는 사이버앵커 애니메이션

AnchorCrafter: Animate CyberAnchors Saling Your Products via Human-Object Interacting Video Generation

November 26, 2024

저자: Ziyi Xu, Ziyao Huang, Juan Cao, Yong Zhang, Xiaodong Cun, Qing Shuai, Yuchen Wang, Linchao Bao, Jintao Li, Fan Tang

cs.AI

초록

앵커 스타일 제품 프로모션 비디오의 자동 생성은 온라인 상거래, 광고 및 소비자 참여에서 유망한 기회를 제공합니다. 그러나 자세 안내 인간 비디오 생성에서 상당한 발전이 있음에도 불구하고, 이는 여전히 어려운 과제로 남아 있습니다. 이 문제에 대응하여, 우리는 인간-객체 상호작용(HOI)을 자세 안내 인간 비디오 생성에 통합하는 것을 핵심 문제로 확인합니다. 이를 위해, 우리는 고도의 시각적 충실도와 제어 가능한 상호작용을 달성하기 위해 대상 인간과 맞춤형 객체가 특징인 2D 비디오를 생성하기 위해 설계된 혁신적인 확산 기반 시스템인 AnchorCrafter를 소개합니다. 구체적으로, 우리는 두 가지 주요 혁신을 제안합니다: 임의의 다중 시점에서 객체 외형 인식을 향상시키고 객체와 인간 외형을 분리하는 HOI-외형 인식, 객체 궤적 조건부 및 상호 가려짐 관리의 어려움을 극복함으로써 복잡한 인간-객체 상호작용을 가능하게 하는 HOI-동작 주입. 게다가, 객체 세부 정보 학습을 강화하는 훈련 목표인 HOI-영역 재가중 손실을 소개합니다. 포괄적인 실험을 통해, 우리가 제안한 시스템이 객체 외형과 형태 인식을 보존하면서 동시에 인간 외형과 동작의 일관성을 유지하는 데 기존 방법을 능가한다는 것을 입증합니다. 프로젝트 페이지: https://cangcz.github.io/Anchor-Crafter/

English

The automatic generation of anchor-style product promotion videos presents promising opportunities in online commerce, advertising, and consumer engagement. However, this remains a challenging task despite significant advancements in pose-guided human video generation. In addressing this challenge, we identify the integration of human-object interactions (HOI) into pose-guided human video generation as a core issue. To this end, we introduce AnchorCrafter, a novel diffusion-based system designed to generate 2D videos featuring a target human and a customized object, achieving high visual fidelity and controllable interactions. Specifically, we propose two key innovations: the HOI-appearance perception, which enhances object appearance recognition from arbitrary multi-view perspectives and disentangles object and human appearance, and the HOI-motion injection, which enables complex human-object interactions by overcoming challenges in object trajectory conditioning and inter-occlusion management. Additionally, we introduce the HOI-region reweighting loss, a training objective that enhances the learning of object details. Extensive experiments demonstrate that our proposed system outperforms existing methods in preserving object appearance and shape awareness, while simultaneously maintaining consistency in human appearance and motion. Project page: https://cangcz.github.io/Anchor-Crafter/