Video-Panda: Allineamento efficiente dei parametri per modelli Video-Lingua senza codificatore

Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models

December 24, 2024

Autori: Jinhui Yi, Syed Talal Wasim, Yanan Luo, Muzammal Naseer, Juergen Gall

cs.AI

Abstract

Presentiamo un approccio efficiente senza codificatore per la comprensione video-linguaggio che raggiunge prestazioni competitive riducendo significativamente l'onere computazionale. I modelli attuali di video-linguaggio di solito si basano su pesanti codificatori di immagini (da 300M a 1.1B di parametri) o codificatori video (da 1B a 1.4B di parametri), creando un notevole onere computazionale durante l'elaborazione di video a più frame. Il nostro metodo introduce un nuovo Blocco di Allineamento Spazio-Temporale (STAB) che elabora direttamente gli input video senza richiedere codificatori preaddestrati, utilizzando solo 45M di parametri per l'elaborazione visiva - almeno una riduzione del 6.5 volte rispetto agli approcci tradizionali. L'architettura STAB combina la Codifica Spazio-Temporale Locale per l'estrazione dettagliata delle caratteristiche, il downsampling spaziale efficiente tramite attenzione appresa e meccanismi separati per modellare le relazioni a livello di frame e di video. Il nostro modello raggiunge prestazioni comparabili o superiori rispetto agli approcci basati su codificatori per la risposta a domande video aperte su benchmark standard. La valutazione dettagliata di risposta a domande video dimostra l'efficacia del nostro modello, superando gli approcci basati su codificatori Video-ChatGPT e Video-LLaVA in aspetti chiave come correttezza e comprensione temporale. Estesi studi di ablazione convalidano le nostre scelte architetturali e dimostrano l'efficacia del nostro approccio di modellazione spazio-temporale, ottenendo velocità di elaborazione 3-4 volte più veloci rispetto ai metodi precedenti. Il codice è disponibile su https://github.com/jh-yi/Video-Panda.

English

We present an efficient encoder-free approach for video-language understanding that achieves competitive performance while significantly reducing computational overhead. Current video-language models typically rely on heavyweight image encoders (300M-1.1B parameters) or video encoders (1B-1.4B parameters), creating a substantial computational burden when processing multi-frame videos. Our method introduces a novel Spatio-Temporal Alignment Block (STAB) that directly processes video inputs without requiring pre-trained encoders while using only 45M parameters for visual processing - at least a 6.5times reduction compared to traditional approaches. The STAB architecture combines Local Spatio-Temporal Encoding for fine-grained feature extraction, efficient spatial downsampling through learned attention and separate mechanisms for modeling frame-level and video-level relationships. Our model achieves comparable or superior performance to encoder-based approaches for open-ended video question answering on standard benchmarks. The fine-grained video question-answering evaluation demonstrates our model's effectiveness, outperforming the encoder-based approaches Video-ChatGPT and Video-LLaVA in key aspects like correctness and temporal understanding. Extensive ablation studies validate our architectural choices and demonstrate the effectiveness of our spatio-temporal modeling approach while achieving 3-4times faster processing speeds than previous methods. Code is available at https://github.com/jh-yi/Video-Panda.