Unificazione di Encoder Visivi Specializzati per Modelli Linguistici Video

Unifying Specialized Visual Encoders for Video Language Models

January 2, 2025

Autori: Jihoon Chung, Tyler Zhu, Max Gonzalez Saez-Diez, Juan Carlos Niebles, Honglu Zhou, Olga Russakovsky

cs.AI

Abstract

Il recente avvento dei Grandi Modelli Linguistici (LLM) ha introdotto sofisticate capacità di ragionamento nel campo dei video attraverso i Modelli Linguistici Video di Grandi Dimensioni (VideoLLM). Tuttavia, attualmente i VideoLLM si basano su un singolo codificatore visivo per tutta la loro elaborazione visiva, il che limita la quantità e il tipo di informazioni visive che possono essere trasmesse al LLM. Il nostro metodo, MERV, Rappresentazione Multi-Codificatore dei Video, sfrutta invece diversi codificatori visivi congelati per creare una rappresentazione unificata di un video, fornendo al VideoLLM un insieme completo di conoscenze visive specializzate. Allineando spazio-temporalmente le caratteristiche di ciascun codificatore ci consente di affrontare una gamma più ampia di domande di comprensione video aperte e a scelta multipla e superare i lavori precedenti all'avanguardia. MERV è fino al 3,7% più preciso rispetto a Video-LLaVA su tutti i benchmark standard di comprensione video, presentando anche un punteggio migliore di Video-ChatGPT. Miglioriamo inoltre SeViLA, il precedente migliore in termini di accuratezza del Test di Percezione a zero-shot, del 2,2%. MERV introduce un numero minimo di parametri aggiuntivi e si allena più velocemente rispetto ai metodi equivalenti a singolo codificatore, parallelizzando l'elaborazione visiva. Infine, forniamo evidenze qualitative che MERV cattura con successo le conoscenze di dominio da ciascuno dei suoi codificatori. I nostri risultati offrono direzioni promettenti nell'utilizzo di diversi codificatori visivi per una comprensione video completa.

English

The recent advent of Large Language Models (LLMs) has ushered sophisticated reasoning capabilities into the realm of video through Video Large Language Models (VideoLLMs). However, VideoLLMs currently rely on a single vision encoder for all of their visual processing, which limits the amount and type of visual information that can be conveyed to the LLM. Our method, MERV, Multi-Encoder Representation of Videos, instead leverages multiple frozen visual encoders to create a unified representation of a video, providing the VideoLLM with a comprehensive set of specialized visual knowledge. Spatio-temporally aligning the features from each encoder allows us to tackle a wider range of open-ended and multiple-choice video understanding questions and outperform prior state-of-the-art works. MERV is up to 3.7% better in accuracy than Video-LLaVA across the standard suite video understanding benchmarks, while also having a better Video-ChatGPT score. We also improve upon SeViLA, the previous best on zero-shot Perception Test accuracy, by 2.2%. MERV introduces minimal extra parameters and trains faster than equivalent single-encoder methods while parallelizing the visual processing. Finally, we provide qualitative evidence that MERV successfully captures domain knowledge from each of its encoders. Our results offer promising directions in utilizing multiple vision encoders for comprehensive video understanding.