Guarda Ogni Frame Tutto in Una Volta: Video-Ma^2mba per una Comprensione Efficienti di Video a Lungo Termine con Checkpointing a Gradiente Multi-Asse.

Look Every Frame All at Once: Video-Ma^2mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing

November 29, 2024

Autori: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Abstract

Con la crescente scala e complessità dei dati video, elaborare efficientemente lunghe sequenze video pone significativi problemi a causa dell'aumento quadratico delle richieste di memoria e computazionali associato ai modelli Large Multi-modal Models (LMMs) basati su trasformatori esistenti. Per affrontare tali questioni, introduciamo Video-Ma^2mba, una nuova architettura che incorpora i modelli State Space Models (SSMs) all'interno del framework Mamba-2, sostituendo i meccanismi di attenzione. Ciò consente ai LMMs di scalare linearmente in termini di tempo e requisiti di memoria, rendendo possibile gestire contenuti video di lunga durata. Inoltre, miglioriamo l'efficienza della memoria introducendo il metodo Multi-Axis Gradient Checkpointing (MA-GC), che gestisce strategicamente la memoria mantenendo solo le attivazioni essenziali lungo più assi computazionali. Il nostro approccio riduce significativamente l'impronta di memoria rispetto al checkpointing standard dei gradienti. Le analisi empiriche mostrano che Video-Ma^2mba può elaborare estese sequenze video-equivalenti a milioni di token o a oltre due ore di sequenze continue a 1 FPS-su una singola GPU. Mantenendo una cattura dettagliata delle dinamiche temporali, il nostro modello migliora l'accuratezza e la rilevanza delle risposte nei compiti di comprensione video di lunga durata, dimostrando notevoli vantaggi rispetto ai framework esistenti.

English

With the growing scale and complexity of video data, efficiently processing long video sequences poses significant challenges due to the quadratic increase in memory and computational demands associated with existing transformer-based Large Multi-modal Models (LMMs). To address these issues, we introduce Video-Ma^2mba, a novel architecture that incorporates State Space Models (SSMs) within the Mamba-2 framework, replacing the attention mechanisms. This allows the LMMs to scale linearly in terms of time and memory requirements, making it feasible to handle long-duration video content. Furthermore, we enhance the memory efficiency introducing the Multi-Axis Gradient Checkpointing (MA-GC) method, which strategically manages memory by retaining only essential activations across multiple computational axes. Our approach significantly reduces the memory footprint compared to standard gradient checkpointing. Empirical analyses show that Video-Ma^2mba can process extensive video sequences-equivalent to millions of tokens or over two hours of continuous sequences at 1 FPS-on a single GPU. By maintaining a detailed capture of temporal dynamics, our model improves the accuracy and relevance of responses in long video understanding tasks, demonstrating substantial advantages over existing frameworks.