Generazione di Teste Parlanti 3D Percettivamente Accurate: Nuove Definizioni, Rappresentazione Speech-Mesh e Metriche di Valutazione

Perceptually Accurate 3D Talking Head Generation: New Definitions, Speech-Mesh Representation, and Evaluation Metrics

March 26, 2025

Autori: Lee Chae-Yeon, Oh Hyun-Bin, Han EunGi, Kim Sung-Bin, Suekyeong Nam, Tae-Hyun Oh

cs.AI

Abstract

I recenti progressi nella generazione di teste parlanti 3D guidate dalla voce hanno compiuto significativi passi avanti nella sincronizzazione labiale. Tuttavia, i modelli esistenti faticano ancora a catturare l'allineamento percettivo tra le diverse caratteristiche del parlato e i corrispondenti movimenti delle labbra. In questo lavoro, sosteniamo che tre criteri -- Sincronizzazione Temporale, Leggibilità Labiale ed Espressività -- siano cruciali per ottenere movimenti labiali percettivamente accurati. Motivati dalla nostra ipotesi che esista uno spazio di rappresentazione desiderabile per soddisfare questi tre criteri, introduciamo una rappresentazione sincronizzata voce-mesh che cattura le intricate corrispondenze tra i segnali vocali e le mesh facciali 3D. Abbiamo scoperto che la nostra rappresentazione appresa mostra caratteristiche desiderabili, e la integriamo nei modelli esistenti come una perdita percettiva per allineare meglio i movimenti delle labbra al parlato dato. Inoltre, utilizziamo questa rappresentazione come metrica percettiva e introduciamo altre due metriche di sincronizzazione labiale basate su principi fisici per valutare quanto bene le teste parlanti 3D generate si allineano a questi tre criteri. Gli esperimenti dimostrano che l'addestramento di modelli di generazione di teste parlanti 3D con la nostra perdita percettiva migliora significativamente tutti e tre gli aspetti della sincronizzazione labiale percettivamente accurata. Codici e dataset sono disponibili all'indirizzo https://perceptual-3d-talking-head.github.io/.

English

Recent advancements in speech-driven 3D talking head generation have made significant progress in lip synchronization. However, existing models still struggle to capture the perceptual alignment between varying speech characteristics and corresponding lip movements. In this work, we claim that three criteria -- Temporal Synchronization, Lip Readability, and Expressiveness -- are crucial for achieving perceptually accurate lip movements. Motivated by our hypothesis that a desirable representation space exists to meet these three criteria, we introduce a speech-mesh synchronized representation that captures intricate correspondences between speech signals and 3D face meshes. We found that our learned representation exhibits desirable characteristics, and we plug it into existing models as a perceptual loss to better align lip movements to the given speech. In addition, we utilize this representation as a perceptual metric and introduce two other physically grounded lip synchronization metrics to assess how well the generated 3D talking heads align with these three criteria. Experiments show that training 3D talking head generation models with our perceptual loss significantly improve all three aspects of perceptually accurate lip synchronization. Codes and datasets are available at https://perceptual-3d-talking-head.github.io/.