EMO2: End-Effector Gestuurde Audio-Gedreven Avatar Video Generatie

EMO2: End-Effector Guided Audio-Driven Avatar Video Generation

January 18, 2025

Auteurs: Linrui Tian, Siqi Hu, Qi Wang, Bang Zhang, Liefeng Bo

cs.AI

Samenvatting

In dit artikel stellen we een nieuwe methode voor voor een audio-gestuurde pratende kop die in staat is om tegelijkertijd zeer expressieve gezichtsuitdrukkingen en handgebaren te genereren. In tegenstelling tot bestaande methoden die zich richten op het genereren van volledige lichaams- of half-lichaamshoudingen, onderzoeken we de uitdagingen van het genereren van co-spraakgebaren en identificeren we de zwakke overeenkomst tussen audiofuncties en volledige lichaamsgebaren als een belangrijke beperking. Om dit aan te pakken, herdefiniëren we de taak als een tweestapsproces. In de eerste fase genereren we handposities rechtstreeks vanuit audio-invoer, waarbij we gebruikmaken van de sterke correlatie tussen audio-signalen en handbewegingen. In de tweede fase maken we gebruik van een diffusiemodel om videoframes te synthetiseren, waarbij de handposities die in de eerste fase zijn gegenereerd worden opgenomen om realistische gezichtsuitdrukkingen en lichaamsbewegingen te produceren. Onze experimentele resultaten tonen aan dat de voorgestelde methode beter presteert dan state-of-the-art benaderingen, zoals CyberHost en Vlogger, zowel wat betreft visuele kwaliteit als synchronisatienauwkeurigheid. Dit werk biedt een nieuw perspectief op audio-gestuurde gebaren generatie en een robuust kader voor het creëren van expressieve en natuurlijke pratende kopanimaties.

English

In this paper, we propose a novel audio-driven talking head method capable of simultaneously generating highly expressive facial expressions and hand gestures. Unlike existing methods that focus on generating full-body or half-body poses, we investigate the challenges of co-speech gesture generation and identify the weak correspondence between audio features and full-body gestures as a key limitation. To address this, we redefine the task as a two-stage process. In the first stage, we generate hand poses directly from audio input, leveraging the strong correlation between audio signals and hand movements. In the second stage, we employ a diffusion model to synthesize video frames, incorporating the hand poses generated in the first stage to produce realistic facial expressions and body movements. Our experimental results demonstrate that the proposed method outperforms state-of-the-art approaches, such as CyberHost and Vlogger, in terms of both visual quality and synchronization accuracy. This work provides a new perspective on audio-driven gesture generation and a robust framework for creating expressive and natural talking head animations.