EMO2: Endeffektor-gesteuerte Audio-getriebene Avatar-Videoerzeugung

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

January 18, 2025

Autoren: Linrui Tian, Siqi Hu, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

Zusammenfassung

In diesem Paper schlagen wir eine neuartige Methode für einen audio-gesteuerten Sprecher vor, die gleichzeitig hoch expressive Gesichtsausdrücke und Handgesten generieren kann. Im Gegensatz zu bestehenden Methoden, die sich auf die Generierung von Ganzkörper- oder Halbkörper-Posen konzentrieren, untersuchen wir die Herausforderungen der Gestenerzeugung während der Sprache und identifizieren die schwache Korrespondenz zwischen Audio-Merkmalen und Ganzkörpergesten als eine Schlüsselbeschränkung. Um dies zu bewältigen, definieren wir die Aufgabe als zweistufigen Prozess neu. In der ersten Stufe generieren wir Handposen direkt aus dem Audio-Eingang, wobei wir die starke Korrelation zwischen Audio-Signalen und Handbewegungen nutzen. In der zweiten Stufe verwenden wir ein Diffusionsmodell zur Synthese von Videoframes, wobei die in der ersten Stufe generierten Handposen einbezogen werden, um realistische Gesichtsausdrücke und Körperbewegungen zu erzeugen. Unsere experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode im Hinblick auf visuelle Qualität und Synchronisationsgenauigkeit State-of-the-Art-Ansätze wie CyberHost und Vlogger übertrifft. Diese Arbeit bietet eine neue Perspektive auf die audio-gesteuerte Gestenerzeugung und ein robustes Framework zur Erstellung expressiver und natürlicher Sprecheranimationen.

English

In this paper, we propose a novel audio-driven talking head method capable of simultaneously generating highly expressive facial expressions and hand gestures. Unlike existing methods that focus on generating full-body or half-body poses, we investigate the challenges of co-speech gesture generation and identify the weak correspondence between audio features and full-body gestures as a key limitation. To address this, we redefine the task as a two-stage process. In the first stage, we generate hand poses directly from audio input, leveraging the strong correlation between audio signals and hand movements. In the second stage, we employ a diffusion model to synthesize video frames, incorporating the hand poses generated in the first stage to produce realistic facial expressions and body movements. Our experimental results demonstrate that the proposed method outperforms state-of-the-art approaches, such as CyberHost and Vlogger, in terms of both visual quality and synchronization accuracy. This work provides a new perspective on audio-driven gesture generation and a robust framework for creating expressive and natural talking head animations.