Video-Panda: Alinhamento Eficiente de Parâmetros para Modelos de Linguagem de Vídeo sem Codificador

Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models

December 24, 2024

Autores: Jinhui Yi, Syed Talal Wasim, Yanan Luo, Muzammal Naseer, Juergen Gall

cs.AI

Resumo

Apresentamos uma abordagem eficiente sem codificador para compreensão vídeo-linguagem que alcança desempenho competitivo enquanto reduz significativamente a sobrecarga computacional. Modelos atuais de vídeo-linguagem geralmente dependem de codificadores de imagem pesados (300M-1.1B parâmetros) ou codificadores de vídeo (1B-1.4B parâmetros), criando um ônus computacional substancial ao processar vídeos de vários quadros. Nosso método introduz um novo Bloco de Alinhamento Espaço-Temporal (STAB) que processa diretamente entradas de vídeo sem exigir codificadores pré-treinados, usando apenas 45M parâmetros para processamento visual - pelo menos uma redução de 6,5 vezes em comparação com abordagens tradicionais. A arquitetura STAB combina Codificação Espaço-Temporal Local para extração de características detalhadas, downsampling espacial eficiente por meio de atenção aprendida e mecanismos separados para modelar relacionamentos em nível de quadro e em nível de vídeo. Nosso modelo alcança desempenho comparável ou superior às abordagens baseadas em codificador para responder a perguntas de vídeo de forma aberta em benchmarks padrão. A avaliação detalhada de perguntas e respostas em vídeo demonstra a eficácia de nosso modelo, superando as abordagens baseadas em codificador Video-ChatGPT e Video-LLaVA em aspectos-chave como correção e compreensão temporal. Estudos extensivos de ablação validam nossas escolhas arquiteturais e demonstram a eficácia de nossa abordagem de modelagem espaço-temporal, alcançando velocidades de processamento 3-4 vezes mais rápidas do que métodos anteriores. O código está disponível em https://github.com/jh-yi/Video-Panda.

English

We present an efficient encoder-free approach for video-language understanding that achieves competitive performance while significantly reducing computational overhead. Current video-language models typically rely on heavyweight image encoders (300M-1.1B parameters) or video encoders (1B-1.4B parameters), creating a substantial computational burden when processing multi-frame videos. Our method introduces a novel Spatio-Temporal Alignment Block (STAB) that directly processes video inputs without requiring pre-trained encoders while using only 45M parameters for visual processing - at least a 6.5times reduction compared to traditional approaches. The STAB architecture combines Local Spatio-Temporal Encoding for fine-grained feature extraction, efficient spatial downsampling through learned attention and separate mechanisms for modeling frame-level and video-level relationships. Our model achieves comparable or superior performance to encoder-based approaches for open-ended video question answering on standard benchmarks. The fine-grained video question-answering evaluation demonstrates our model's effectiveness, outperforming the encoder-based approaches Video-ChatGPT and Video-LLaVA in key aspects like correctness and temporal understanding. Extensive ablation studies validate our architectural choices and demonstrate the effectiveness of our spatio-temporal modeling approach while achieving 3-4times faster processing speeds than previous methods. Code is available at https://github.com/jh-yi/Video-Panda.