Mavors: Rappresentazione Video a Multi-granularità per Modelli Linguistici Multimodali di Grande Scala

Mavors: Multi-granularity Video Representation for Multimodal Large Language Model

April 14, 2025

Autori: Yang Shi, Jiaheng Liu, Yushuo Guan, Zhenhua Wu, Yuanxing Zhang, Zihao Wang, Weihong Lin, Jingyun Hua, Zekun Wang, Xinlong Chen, Bohan Zeng, Wentao Zhang, Fuzheng Zhang, Wenjing Yang, Di Zhang

cs.AI

Abstract

La comprensione di video a lungo contesto nei modelli linguistici multimodali di grandi dimensioni (MLLMs) affronta una sfida critica: bilanciare l'efficienza computazionale con la conservazione di modelli spazio-temporali dettagliati. Gli approcci esistenti (ad esempio, campionamento sparso, campionamento denso a bassa risoluzione e compressione dei token) soffrono di una significativa perdita di informazioni nelle dinamiche temporali, nei dettagli spaziali o nelle interazioni sottili, specialmente in video con movimenti complessi o risoluzioni variabili. Per affrontare questo problema, proponiamo Mavors, un nuovo framework che introduce una rappresentazione video multi-granularità per la modellazione olistica di video lunghi. Nello specifico, Mavors codifica direttamente il contenuto grezzo del video in rappresentazioni latenti attraverso due componenti principali: 1) un Intra-chunk Vision Encoder (IVE) che preserva le caratteristiche spaziali ad alta risoluzione tramite convoluzioni 3D e Vision Transformers, e 2) un Inter-chunk Feature Aggregator (IFA) che stabilisce la coerenza temporale tra i chunk utilizzando la modellazione delle dipendenze basata su transformer con codifiche di posizione rotazionali a livello di chunk. Inoltre, il framework unifica la comprensione di immagini e video trattando le immagini come video a singolo fotogramma attraverso la decomposizione sub-immagine. Esperimenti su diversi benchmark dimostrano la superiorità di Mavors nel mantenere sia la fedeltà spaziale che la continuità temporale, superando significativamente i metodi esistenti in compiti che richiedono un ragionamento spazio-temporale fine.

English

Long-context video understanding in multimodal large language models (MLLMs) faces a critical challenge: balancing computational efficiency with the retention of fine-grained spatio-temporal patterns. Existing approaches (e.g., sparse sampling, dense sampling with low resolution, and token compression) suffer from significant information loss in temporal dynamics, spatial details, or subtle interactions, particularly in videos with complex motion or varying resolutions. To address this, we propose Mavors, a novel framework that introduces Multi-granularity video representation for holistic long-video modeling. Specifically, Mavors directly encodes raw video content into latent representations through two core components: 1) an Intra-chunk Vision Encoder (IVE) that preserves high-resolution spatial features via 3D convolutions and Vision Transformers, and 2) an Inter-chunk Feature Aggregator (IFA) that establishes temporal coherence across chunks using transformer-based dependency modeling with chunk-level rotary position encodings. Moreover, the framework unifies image and video understanding by treating images as single-frame videos via sub-image decomposition. Experiments across diverse benchmarks demonstrate Mavors' superiority in maintaining both spatial fidelity and temporal continuity, significantly outperforming existing methods in tasks requiring fine-grained spatio-temporal reasoning.