PPLLaVA: Vielfältiges Verständnis von Videosequenzen mit Anleitung durch Hinweise

PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

November 4, 2024

Autoren: Ruyang Liu, Haoran Tang, Haibo Liu, Yixiao Ge, Ying Shan, Chen Li, Jiankun Yang

cs.AI

Zusammenfassung

Das vergangene Jahr hat signifikante Fortschritte bei videobasierten großen Sprachmodellen gezeigt. Die Herausforderung, ein vereinheitlichtes Modell für die Verarbeitung von kurzen und langen Videos zu entwickeln, bleibt jedoch ungelöst. Die meisten bestehenden Video-LLMs können keine stundenlangen Videos verarbeiten, während Methoden, die speziell für lange Videos entwickelt wurden, für kürzere Videos und Bilder oft ineffektiv sind. In diesem Artikel identifizieren wir das Hauptproblem als den redundanten Inhalt in Videos. Um dies zu lösen, schlagen wir eine neuartige Pooling-Strategie vor, die gleichzeitig eine Token-Kompression und eine anweisungsbewusste visuelle Merkmalsaggregation erreicht. Unser Modell wird Prompt-gesteuertes Pooling LLaVA genannt, oder kurz PPLLaVA. Speziell besteht PPLLaVA aus drei Kernkomponenten: der auf CLIP basierenden visuellen Prompt-Ausrichtung, die relevante visuelle Informationen extrahiert, die für die Anweisungen des Benutzers relevant sind, dem prompt-gesteuerten Pooling, das die visuelle Sequenz auf beliebige Skalen komprimiert, indem es eine Pooling-Methode im Stil von Convolution verwendet, und der Clip-Kontext-Erweiterung, die für längere Anweisungen in visuellen Dialogen entwickelt wurde. Darüber hinaus integriert unser Codebase auch die fortschrittlichste Video-Direktpräferenzoptimierung (DPO) und das visuelle Interleave-Training. Umfangreiche Experimente haben die Leistung unseres Modells validiert. Mit einer überlegenen Durchsatzleistung und nur 1024 visuellen Kontexten erzielt PPLLaVA bessere Ergebnisse bei Bild-Benchmarks als ein Video-LLM und erreicht gleichzeitig Spitzenleistungen bei verschiedenen Video-Benchmarks, insbesondere bei Aufgaben von der Generierung von Bildunterschriften bis zu Multiple-Choice-Fragen und der Verarbeitung von Videolängen von Sekunden bis Stunden. Der Code ist verfügbar unter https://github.com/farewellthree/PPLLaVA.

English

The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user's instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.