Unificando Codificadores Visuais Especializados para Modelos de Linguagem de Vídeo

Unifying Specialized Visual Encoders for Video Language Models

January 2, 2025

Autores: Jihoon Chung, Tyler Zhu, Max Gonzalez Saez-Diez, Juan Carlos Niebles, Honglu Zhou, Olga Russakovsky

cs.AI

Resumo

O recente surgimento dos Modelos de Linguagem Grandes (LLMs) trouxe capacidades sofisticadas de raciocínio para o domínio de vídeos por meio dos Modelos de Linguagem Grandes de Vídeo (VideoLLMs). No entanto, os VideoLLMs atualmente dependem de um único codificador de visão para todo o processamento visual, o que limita a quantidade e o tipo de informação visual que pode ser transmitida ao LLM. Nosso método, MERV, Representação Multi-Codificador de Vídeos, em vez disso, aproveita vários codificadores visuais congelados para criar uma representação unificada de um vídeo, fornecendo ao VideoLLM um conjunto abrangente de conhecimento visual especializado. Alinhar espacial e temporalmente as características de cada codificador nos permite lidar com uma ampla gama de perguntas de compreensão de vídeo de escolha múltipla e abertas e superar trabalhos anteriores de ponta. MERV é até 3,7% melhor em precisão do que o Video-LLaVA em toda a suíte padrão de benchmarks de compreensão de vídeo, além de ter uma pontuação melhor no Video-ChatGPT. Também melhoramos o SeViLA, o melhor anterior em precisão de Teste de Percepção de zero-shot, em 2,2%. MERV introduz um número mínimo de parâmetros extras e treina mais rápido do que métodos equivalentes de um único codificador, enquanto paraleliza o processamento visual. Por fim, fornecemos evidências qualitativas de que o MERV captura com sucesso o conhecimento de domínio de cada um de seus codificadores. Nossos resultados oferecem direções promissoras na utilização de múltiplos codificadores de visão para uma compreensão abrangente de vídeos.

English

The recent advent of Large Language Models (LLMs) has ushered sophisticated reasoning capabilities into the realm of video through Video Large Language Models (VideoLLMs). However, VideoLLMs currently rely on a single vision encoder for all of their visual processing, which limits the amount and type of visual information that can be conveyed to the LLM. Our method, MERV, Multi-Encoder Representation of Videos, instead leverages multiple frozen visual encoders to create a unified representation of a video, providing the VideoLLM with a comprehensive set of specialized visual knowledge. Spatio-temporally aligning the features from each encoder allows us to tackle a wider range of open-ended and multiple-choice video understanding questions and outperform prior state-of-the-art works. MERV is up to 3.7% better in accuracy than Video-LLaVA across the standard suite video understanding benchmarks, while also having a better Video-ChatGPT score. We also improve upon SeViLA, the previous best on zero-shot Perception Test accuracy, by 2.2%. MERV introduces minimal extra parameters and trains faster than equivalent single-encoder methods while parallelizing the visual processing. Finally, we provide qualitative evidence that MERV successfully captures domain knowledge from each of its encoders. Our results offer promising directions in utilizing multiple vision encoders for comprehensive video understanding.