PPLLaVA: Gevarieerd Begrip van Video Sequenties Met Prompt Begeleiding

PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

November 4, 2024

Auteurs: Ruyang Liu, Haoran Tang, Haibo Liu, Yixiao Ge, Ying Shan, Chen Li, Jiankun Yang

cs.AI

Samenvatting

Het afgelopen jaar heeft de significante vooruitgang van op video gebaseerde grote taalmodellen gezien. Echter, de uitdaging van het ontwikkelen van een eendelig model voor zowel korte als lange video begrip blijft onopgelost. De meeste bestaande video LLM's kunnen geen video's van een uur verwerken, terwijl methoden die zijn aangepast voor lange video's vaak niet effectief zijn voor kortere video's en afbeeldingen. In dit artikel identificeren we het belangrijkste probleem als de overbodige inhoud in video's. Om dit aan te pakken, stellen we een nieuwe pooling-strategie voor die tegelijkertijd tokencompressie en instructiebewuste visuele functieaggregatie bereikt. Ons model wordt Prompt-geleide Pooling LLaVA genoemd, of kortweg PPLLaVA. Specifiek bestaat PPLLaVA uit drie kerncomponenten: de op CLIP gebaseerde visuele-prompt uitlijning die visuele informatie extraheren die relevant is voor de instructies van de gebruiker, de prompt-geleide pooling die de visuele sequentie comprimeert naar willekeurige schalen met behulp van convolutiestijl pooling, en de clip-contextuitbreiding die is ontworpen voor lange instructies die vaak voorkomen in visuele dialogen. Bovendien integreert onze codebase ook de meest geavanceerde video Direct Preference Optimization (DPO) en visuele interleaved training. Uitgebreide experimenten hebben de prestaties van ons model bevestigd. Met een superieure doorvoer en slechts 1024 visuele context behaalt PPLLaVA betere resultaten op afbeeldingsbenchmarks als een video LLM, terwijl het state-of-the-art prestaties behaalt op verschillende videobenchmarks, uitblinkend in taken variërend van onderschriftgeneratie tot meerkeuzevragen, en het verwerken van videolengtes van seconden tot uren. De codes zijn beschikbaar op https://github.com/farewellthree/PPLLaVA.

English

The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user's instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.