EMO2: 종단효과기 안내 오디오 주도 아바타 비디오 생성

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

January 18, 2025

저자: Linrui Tian, Siqi Hu, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

초록

본 논문에서는 표현력 풍부한 얼굴 표정과 손 제스처를 동시에 생성할 수 있는 혁신적인 오디오 주도형 토킹 헤드 방법을 제안합니다. 전체 몸이나 반 몸 포즈 생성에 초점을 맞춘 기존 방법과 달리, 우리는 공동 언어 제스처 생성의 어려움을 조사하고 오디오 특징과 전체 몸 제스처 간의 약한 대응을 주요 제한 요소로 확인합니다. 이를 해결하기 위해 우리는 이 작업을 두 단계 과정으로 재정의합니다. 첫 번째 단계에서는 오디오 입력으로부터 손 자세를 직접 생성하며, 오디오 신호와 손 움직임 간의 강한 상관 관계를 활용합니다. 두 번째 단계에서는 확산 모델을 사용하여 비디오 프레임을 합성하며, 첫 번째 단계에서 생성된 손 자세를 통합하여 현실적인 얼굴 표정과 몸의 움직임을 생성합니다. 실험 결과는 제안된 방법이 시각적 품질과 동기화 정확도 측면에서 CyberHost와 Vlogger와 같은 최첨단 접근법을 능가함을 입증합니다. 이 연구는 오디오 주도 제스처 생성에 대한 새로운 시각을 제시하고 표현력 풍부하고 자연스러운 토킹 헤드 애니메이션을 만들기 위한 견고한 프레임워크를 제공합니다.

English

In this paper, we propose a novel audio-driven talking head method capable of simultaneously generating highly expressive facial expressions and hand gestures. Unlike existing methods that focus on generating full-body or half-body poses, we investigate the challenges of co-speech gesture generation and identify the weak correspondence between audio features and full-body gestures as a key limitation. To address this, we redefine the task as a two-stage process. In the first stage, we generate hand poses directly from audio input, leveraging the strong correlation between audio signals and hand movements. In the second stage, we employ a diffusion model to synthesize video frames, incorporating the hand poses generated in the first stage to produce realistic facial expressions and body movements. Our experimental results demonstrate that the proposed method outperforms state-of-the-art approaches, such as CyberHost and Vlogger, in terms of both visual quality and synchronization accuracy. This work provides a new perspective on audio-driven gesture generation and a robust framework for creating expressive and natural talking head animations.