Un Colpo, Una Conversazione: Avatar Parlante a Tutto Corpo da un'Immagine Singola

One Shot, One Talk: Whole-body Talking Avatar from a Single Image

December 2, 2024

Autori: Jun Xiang, Yudong Guo, Leipeng Hu, Boyang Guo, Yancheng Yuan, Juyong Zhang

cs.AI

Abstract

La creazione di avatar realistici e animabili richiede ancora minuti di video multi-vista o monocolo auto-rotanti, e la maggior parte dei metodi manca di controllo preciso sui gesti e le espressioni. Per spingere i limiti di questa tecnologia, affrontiamo la sfida di costruire un avatar parlante a figura intera da un'unica immagine. Proponiamo un nuovo processo che affronta due questioni critiche: 1) modellazione dinamica complessa e 2) generalizzazione a gesti ed espressioni nuovi. Per ottenere una generalizzazione fluida, sfruttiamo modelli di diffusione immagine-video guidati dalla posa per generare fotogrammi video imperfetti come pseudolabel. Per superare la sfida della modellazione dinamica posta dai video pseudo-incoerenti e rumorosi, introduciamo una rappresentazione ibrida avatar 3DGS-mesh strettamente accoppiata e applichiamo diverse regolarizzazioni chiave per mitigare le incoerenze causate dai label imperfetti. Estesi esperimenti su soggetti diversi dimostrano che il nostro metodo consente la creazione di un avatar parlante a figura intera fotorealistico, precisamente animabile ed espressivo da una singola immagine.

English

Building realistic and animatable avatars still requires minutes of multi-view or monocular self-rotating videos, and most methods lack precise control over gestures and expressions. To push this boundary, we address the challenge of constructing a whole-body talking avatar from a single image. We propose a novel pipeline that tackles two critical issues: 1) complex dynamic modeling and 2) generalization to novel gestures and expressions. To achieve seamless generalization, we leverage recent pose-guided image-to-video diffusion models to generate imperfect video frames as pseudo-labels. To overcome the dynamic modeling challenge posed by inconsistent and noisy pseudo-videos, we introduce a tightly coupled 3DGS-mesh hybrid avatar representation and apply several key regularizations to mitigate inconsistencies caused by imperfect labels. Extensive experiments on diverse subjects demonstrate that our method enables the creation of a photorealistic, precisely animatable, and expressive whole-body talking avatar from just a single image.