Distillazione della Cinematica Articolata da Modelli di Diffusione Video

Articulated Kinematics Distillation from Video Diffusion Models

April 1, 2025

Autori: Xuan Li, Qianli Ma, Tsung-Yi Lin, Yongxin Chen, Chenfanfu Jiang, Ming-Yu Liu, Donglai Xiang

cs.AI

Abstract

Presentiamo Articulated Kinematics Distillation (AKD), un framework per la generazione di animazioni di personaggi ad alta fedeltà che combina i punti di forza dell'animazione basata su scheletro e dei moderni modelli generativi. AKD utilizza una rappresentazione basata su scheletro per asset 3D riggati, riducendo drasticamente i Gradi di Libertà (DoFs) concentrandosi sul controllo a livello di giunti, il che consente una sintesi del movimento efficiente e coerente. Attraverso il Score Distillation Sampling (SDS) con modelli di diffusione video pre-addestrati, AKD estrae movimenti articolati complessi mantenendo l'integrità strutturale, superando le sfide affrontate dai campi di deformazione neurale 4D nel preservare la coerenza della forma. Questo approccio è naturalmente compatibile con la simulazione basata sulla fisica, garantendo interazioni fisicamente plausibili. Gli esperimenti dimostrano che AKD raggiunge una superiore coerenza 3D e qualità del movimento rispetto ai lavori esistenti sulla generazione da testo a 4D. Pagina del progetto: https://research.nvidia.com/labs/dir/akd/

English

We present Articulated Kinematics Distillation (AKD), a framework for generating high-fidelity character animations by merging the strengths of skeleton-based animation and modern generative models. AKD uses a skeleton-based representation for rigged 3D assets, drastically reducing the Degrees of Freedom (DoFs) by focusing on joint-level control, which allows for efficient, consistent motion synthesis. Through Score Distillation Sampling (SDS) with pre-trained video diffusion models, AKD distills complex, articulated motions while maintaining structural integrity, overcoming challenges faced by 4D neural deformation fields in preserving shape consistency. This approach is naturally compatible with physics-based simulation, ensuring physically plausible interactions. Experiments show that AKD achieves superior 3D consistency and motion quality compared with existing works on text-to-4D generation. Project page: https://research.nvidia.com/labs/dir/akd/