Numéroter : Ancrer temporellement des vidéos comme le retournement de manga

Number it: Temporal Grounding Videos like Flipping Manga

November 15, 2024

Auteurs: Yongliang Wu, Xinting Hu, Yuyang Sun, Yizhou Zhou, Wenbo Zhu, Fengyun Rao, Bernt Schiele, Xu Yang

cs.AI

Résumé

Les Modèles de Langage Vidéo à Grande Échelle (Vid-LLMs) ont réalisé des avancées remarquables dans la compréhension du contenu vidéo pour le dialogue de Questions-Réponses (QA). Cependant, ils éprouvent des difficultés à étendre cette compréhension visuelle à des tâches nécessitant une localisation temporelle précise, connue sous le nom d'Ancrage Temporel Vidéo (VTG). Pour combler cette lacune, nous introduisons Number-Prompt (NumPro), une méthode novatrice qui permet aux Vid-LLMs de relier la compréhension visuelle à l'ancrage temporel en ajoutant des identifiants numériques uniques à chaque image de trame vidéo. En traitant une vidéo comme une séquence d'images de trame numérotées, NumPro transforme le VTG en un processus intuitif : feuilleter des cases de manga en séquence. Cela permet aux Vid-LLMs de "lire" les chronologies d'événements, en reliant de manière précise le contenu visuel aux informations temporelles correspondantes. Nos expériences démontrent que NumPro améliore significativement les performances de VTG des Vid-LLMs de premier plan sans coût computationnel supplémentaire. De plus, l'adaptation sur un ensemble de données amélioré par NumPro définit un nouvel état de l'art pour le VTG, dépassant les méthodes précédemment les plus performantes de jusqu'à 6,9\% en mIoU pour la récupération d'instant et de 8,5\% en mAP pour la détection de moments forts. Le code sera disponible sur https://github.com/yongliang-wu/NumPro.

English

Video Large Language Models (Vid-LLMs) have made remarkable advancements in comprehending video content for QA dialogue. However, they struggle to extend this visual understanding to tasks requiring precise temporal localization, known as Video Temporal Grounding (VTG). To address this gap, we introduce Number-Prompt (NumPro), a novel method that empowers Vid-LLMs to bridge visual comprehension with temporal grounding by adding unique numerical identifiers to each video frame. Treating a video as a sequence of numbered frame images, NumPro transforms VTG into an intuitive process: flipping through manga panels in sequence. This allows Vid-LLMs to "read" event timelines, accurately linking visual content with corresponding temporal information. Our experiments demonstrate that NumPro significantly boosts VTG performance of top-tier Vid-LLMs without additional computational cost. Furthermore, fine-tuning on a NumPro-enhanced dataset defines a new state-of-the-art for VTG, surpassing previous top-performing methods by up to 6.9\% in mIoU for moment retrieval and 8.5\% in mAP for highlight detection. The code will be available at https://github.com/yongliang-wu/NumPro.