Mogo: RQ Hierarchical Causal Transformer per la generazione di movimenti umani 3D di alta qualità

Mogo: RQ Hierarchical Causal Transformer for High-Quality 3D Human Motion Generation

December 5, 2024

Autori: Dongjie Fu

cs.AI

Abstract

Nel campo della generazione testo-movimento, i modelli mascherati di tipo Bert (MoMask, MMM) attualmente producono output di qualità superiore rispetto ai modelli autoregressivi di tipo GPT (T2M-GPT). Tuttavia, questi modelli di tipo Bert spesso mancano della capacità di output in streaming richiesta per le applicazioni in videogiochi e ambienti multimediali, una caratteristica intrinseca ai modelli di tipo GPT. Inoltre, essi mostrano una performance più debole nella generazione al di fuori della distribuzione. Per superare la qualità dei modelli di tipo BERT sfruttando una struttura di tipo GPT, senza aggiungere modelli di raffinamento aggiuntivi che complicano la scalabilità dei dati, proponiamo un'architettura innovativa, Mogo (Motion Only Generate Once), che genera movimenti umani 3D realistici di alta qualità addestrando un singolo modello transformer. Mogo è composto solo da due componenti principali: 1) RVQ-VAE, un autoencoder variazionale a quantizzazione vettoriale residua gerarchica, che discretizza sequenze di movimento continue con alta precisione; 2) Hierarchical Causal Transformer, responsabile della generazione delle sequenze di movimento di base in modo autoregressivo mentre contemporaneamente inferisce i residui attraverso diversi livelli. I risultati sperimentali dimostrano che Mogo può generare sequenze di movimento continue e cicliche fino a 260 fotogrammi (13 secondi), superando il limite di lunghezza di 196 fotogrammi (10 secondi) dei dataset esistenti come HumanML3D. Sul set di test di HumanML3D, Mogo raggiunge uno score FID di 0.079, superando sia il modello di tipo GPT T2M-GPT (FID = 0.116), AttT2M (FID = 0.112) che il modello di tipo BERT MMM (FID = 0.080). Inoltre, il nostro modello raggiunge la migliore performance quantitativa nella generazione al di fuori della distribuzione.

English

In the field of text-to-motion generation, Bert-type Masked Models (MoMask, MMM) currently produce higher-quality outputs compared to GPT-type autoregressive models (T2M-GPT). However, these Bert-type models often lack the streaming output capability required for applications in video game and multimedia environments, a feature inherent to GPT-type models. Additionally, they demonstrate weaker performance in out-of-distribution generation. To surpass the quality of BERT-type models while leveraging a GPT-type structure, without adding extra refinement models that complicate scaling data, we propose a novel architecture, Mogo (Motion Only Generate Once), which generates high-quality lifelike 3D human motions by training a single transformer model. Mogo consists of only two main components: 1) RVQ-VAE, a hierarchical residual vector quantization variational autoencoder, which discretizes continuous motion sequences with high precision; 2) Hierarchical Causal Transformer, responsible for generating the base motion sequences in an autoregressive manner while simultaneously inferring residuals across different layers. Experimental results demonstrate that Mogo can generate continuous and cyclic motion sequences up to 260 frames (13 seconds), surpassing the 196 frames (10 seconds) length limitation of existing datasets like HumanML3D. On the HumanML3D test set, Mogo achieves a FID score of 0.079, outperforming both the GPT-type model T2M-GPT (FID = 0.116), AttT2M (FID = 0.112) and the BERT-type model MMM (FID = 0.080). Furthermore, our model achieves the best quantitative performance in out-of-distribution generation.