KMM: Sleutelbeeldmasker Mamba voor Uitgebreide Bewegingsgeneratie

KMM: Key Frame Mask Mamba for Extended Motion Generation

November 10, 2024

Auteurs: Zeyu Zhang, Hang Gao, Akide Liu, Qi Chen, Feng Chen, Yiran Wang, Danning Li, Hao Tang

cs.AI

Samenvatting

Menselijke bewegingsgeneratie is een cutting-edge onderzoeksgebied in generatieve computervisie, met veelbelovende toepassingen in videocreatie, gamedevelopment en robotische manipulatie. De recente Mamba-architectuur toont veelbelovende resultaten in het efficiënt modelleren van lange en complexe sequenties, maar er zijn nog twee significante uitdagingen: Ten eerste is het direct toepassen van Mamba op uitgebreide bewegingsgeneratie ineffectief, aangezien de beperkte capaciteit van het impliciete geheugen leidt tot geheugenverval. Ten tweede heeft Mamba moeite met multimodale fusie in vergelijking met Transformers, en mist het afstemming met tekstuele zoekopdrachten, wat vaak leidt tot verwarring over richtingen (links of rechts) of het weglaten van delen van langere tekstzoekopdrachten. Om deze uitdagingen aan te pakken, presenteert ons artikel drie belangrijke bijdragen: Ten eerste introduceren we KMM, een nieuw architectuur met Key frame Masking Modeling, ontworpen om de focus van Mamba op sleutelacties in bewegingssegmenten te versterken. Deze aanpak lost het probleem van geheugenverval op en vertegenwoordigt een baanbrekende methode om strategische frame-level masking aan te passen in SSM's. Daarnaast hebben we een contrastief leerparadigma ontworpen om het probleem van multimodale fusie in Mamba aan te pakken en de beweging-tekstafstemming te verbeteren. Tot slot hebben we uitgebreide experimenten uitgevoerd op de veelgebruikte dataset, BABEL, waarbij we state-of-the-art prestaties hebben behaald met een vermindering van meer dan 57% in FID en 70% minder parameters in vergelijking met eerdere state-of-the-art methoden. Zie projectwebsite: https://steve-zeyu-zhang.github.io/KMM

English

Human motion generation is a cut-edge area of research in generative computer vision, with promising applications in video creation, game development, and robotic manipulation. The recent Mamba architecture shows promising results in efficiently modeling long and complex sequences, yet two significant challenges remain: Firstly, directly applying Mamba to extended motion generation is ineffective, as the limited capacity of the implicit memory leads to memory decay. Secondly, Mamba struggles with multimodal fusion compared to Transformers, and lack alignment with textual queries, often confusing directions (left or right) or omitting parts of longer text queries. To address these challenges, our paper presents three key contributions: Firstly, we introduce KMM, a novel architecture featuring Key frame Masking Modeling, designed to enhance Mamba's focus on key actions in motion segments. This approach addresses the memory decay problem and represents a pioneering method in customizing strategic frame-level masking in SSMs. Additionally, we designed a contrastive learning paradigm for addressing the multimodal fusion problem in Mamba and improving the motion-text alignment. Finally, we conducted extensive experiments on the go-to dataset, BABEL, achieving state-of-the-art performance with a reduction of more than 57% in FID and 70% parameters compared to previous state-of-the-art methods. See project website: https://steve-zeyu-zhang.github.io/KMM