Mogo: 고품질 3D 인간 모션 생성을 위한 RQ 계층적 인과 Transformer

Mogo: RQ Hierarchical Causal Transformer for High-Quality 3D Human Motion Generation

December 5, 2024

저자: Dongjie Fu

cs.AI

초록

텍스트 대 동작 생성 분야에서는 Bert 유형의 마스크 모델 (MoMask, MMM)이 현재 GPT 유형의 자기회귀 모델 (T2M-GPT)보다 더 높은 품질의 출력물을 생산합니다. 그러나 이러한 Bert 유형 모델은 종종 비디오 게임 및 멀티미디어 환경에서 필요한 스트리밍 출력 기능이 부족하며, 이는 GPT 유형 모델에 내재된 기능입니다. 또한, 이러한 모델들은 분포 밖 생성에서 성능이 약합니다. 데이터 확장을 복잡하게 하는 추가 세부 조정 모델을 추가하지 않고 BERT 유형 모델의 품질을 능가하면서 GPT 유형 구조를 활용하기 위해 단일 트랜스포머 모델을 훈련시켜 고품질의 사실적인 3D 인간 동작을 생성하는 혁신적인 아키텍처인 Mogo (Motion Only Generate Once)를 제안합니다. Mogo는 두 가지 주요 구성 요소로 구성됩니다: 1) RVQ-VAE, 계층적 잔여 벡터 양자화 변이 오토인코더로 연속적인 동작 시퀀스를 높은 정밀도로 이산화합니다. 2) 계층적 인과 트랜스포머는 자기회귀 방식으로 기본 동작 시퀀스를 생성하면서 동시에 다른 계층 간 잔여를 추론합니다. 실험 결과는 Mogo가 260프레임 (13초)까지 연속적이고 순환적인 동작 시퀀스를 생성할 수 있으며, HumanML3D와 같은 기존 데이터셋의 196프레임 (10초) 길이 제한을 능가한다는 것을 보여줍니다. HumanML3D 테스트 세트에서 Mogo는 FID 점수가 0.079로, GPT 유형 모델 T2M-GPT (FID = 0.116), AttT2M (FID = 0.112) 및 BERT 유형 모델 MMM (FID = 0.080)를 능가합니다. 더불어, 우리 모델은 분포 밖 생성에서 최상의 정량적 성능을 달성합니다.

English

In the field of text-to-motion generation, Bert-type Masked Models (MoMask, MMM) currently produce higher-quality outputs compared to GPT-type autoregressive models (T2M-GPT). However, these Bert-type models often lack the streaming output capability required for applications in video game and multimedia environments, a feature inherent to GPT-type models. Additionally, they demonstrate weaker performance in out-of-distribution generation. To surpass the quality of BERT-type models while leveraging a GPT-type structure, without adding extra refinement models that complicate scaling data, we propose a novel architecture, Mogo (Motion Only Generate Once), which generates high-quality lifelike 3D human motions by training a single transformer model. Mogo consists of only two main components: 1) RVQ-VAE, a hierarchical residual vector quantization variational autoencoder, which discretizes continuous motion sequences with high precision; 2) Hierarchical Causal Transformer, responsible for generating the base motion sequences in an autoregressive manner while simultaneously inferring residuals across different layers. Experimental results demonstrate that Mogo can generate continuous and cyclic motion sequences up to 260 frames (13 seconds), surpassing the 196 frames (10 seconds) length limitation of existing datasets like HumanML3D. On the HumanML3D test set, Mogo achieves a FID score of 0.079, outperforming both the GPT-type model T2M-GPT (FID = 0.116), AttT2M (FID = 0.112) and the BERT-type model MMM (FID = 0.080). Furthermore, our model achieves the best quantitative performance in out-of-distribution generation.