PPLLaVA: Comprensione Variegata delle Sequenze Video con Guida Prompt

PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

November 4, 2024

Autori: Ruyang Liu, Haoran Tang, Haibo Liu, Yixiao Ge, Ying Shan, Chen Li, Jiankun Yang

cs.AI

Abstract

L'anno scorso ha visto un significativo progresso dei modelli linguistici su larga scala basati su video. Tuttavia, la sfida di sviluppare un modello unificato per la comprensione di video brevi e lunghi rimane irrisolta. La maggior parte dei modelli linguistici su video esistenti non riesce a gestire video di un'ora, mentre i metodi personalizzati per video lunghi tendono ad essere inefficaci per video e immagini più brevi. In questo articolo identifichiamo il problema chiave come il contenuto ridondante nei video. Per affrontare questo problema, proponiamo una nuova strategia di pooling che raggiunge contemporaneamente la compressione dei token e l'aggregazione delle caratteristiche visive consapevoli delle istruzioni. Il nostro modello è denominato PPLLaVA (Prompt-guided Pooling LLaVA). In particolare, PPLLaVA è composto da tre componenti principali: l'allineamento visivo basato su prompt CLIP che estrae informazioni visive rilevanti per le istruzioni dell'utente, il pooling guidato dal prompt che comprime la sequenza visiva a scale arbitrarie utilizzando il pooling in stile convoluzionale, e l'estensione del contesto clip progettata per prompt lunghi comuni nei dialoghi visivi. Inoltre, il nostro codice integra anche l'ottimizzazione delle preferenze dirette (DPO) su video e l'addestramento visivo intercalato più avanzato. Estesi esperimenti hanno convalidato le prestazioni del nostro modello. Con un throughput superiore e solo 1024 contesti visivi, PPLLaVA ottiene risultati migliori sui benchmark delle immagini come modello linguistico su video, raggiungendo contemporaneamente prestazioni all'avanguardia su vari benchmark video, eccellendo in compiti che vanno dalla generazione di didascalie a domande a risposta multipla, gestendo lunghezze video da secondi a ore. Il codice è disponibile su https://github.com/farewellthree/PPLLaVA.

English

The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user's instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.