PPLLaVA : Compréhension Variée de Séquences Vidéo Avec Guidage Rapide

PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

November 4, 2024

Auteurs: Ruyang Liu, Haoran Tang, Haibo Liu, Yixiao Ge, Ying Shan, Chen Li, Jiankun Yang

cs.AI

Résumé

L'année écoulée a vu des avancées significatives dans les modèles linguistiques de grande taille basés sur la vidéo. Cependant, le défi de développer un modèle unifié pour la compréhension de vidéos courtes et longues reste non résolu. La plupart des modèles linguistiques vidéo existants ne peuvent pas traiter des vidéos d'une heure, tandis que les méthodes adaptées aux vidéos longues sont souvent inefficaces pour les vidéos courtes et les images. Dans cet article, nous identifions le problème clé comme étant le contenu redondant dans les vidéos. Pour y remédier, nous proposons une nouvelle stratégie de regroupement qui permet simultanément la compression des tokens et l'agrégation des caractéristiques visuelles sensibles aux instructions. Notre modèle est appelé Regroupement Guidé par Invite pour les Modèles Linguistiques Vidéo, ou PPLLaVA pour faire court. Plus précisément, PPLLaVA se compose de trois composants principaux : l'alignement visuel basé sur CLIP qui extrait les informations visuelles pertinentes aux instructions de l'utilisateur, le regroupement guidé par invite qui compresse la séquence visuelle à des échelles arbitraires en utilisant un regroupement de style convolution, et l'extension du contexte clip conçue pour les instructions longues courantes dans le dialogue visuel. De plus, notre base de code intègre également l'optimisation de préférence directe (DPO) vidéo la plus avancée et l'entraînement visuel par entrelacement. De nombreuses expériences ont validé les performances de notre modèle. Avec un débit supérieur et seulement 1024 contextes visuels, PPLLaVA obtient de meilleurs résultats sur des référentiels d'images en tant que modèle linguistique vidéo, tout en atteignant des performances de pointe sur divers référentiels vidéo, excellant dans des tâches allant de la génération de légendes aux questions à choix multiples, et traitant des durées de vidéos de quelques secondes à plusieurs heures. Les codes sont disponibles sur https://github.com/farewellthree/PPLLaVA.

English

The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user's instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.