Nummeriere es: Zeitliche Verankerung von Videos wie das Umblättern von Manga.

Number it: Temporal Grounding Videos like Flipping Manga

November 15, 2024

Autoren: Yongliang Wu, Xinting Hu, Yuyang Sun, Yizhou Zhou, Wenbo Zhu, Fengyun Rao, Bernt Schiele, Xu Yang

cs.AI

Zusammenfassung

Video Large Language Models (Vid-LLMs) haben bemerkenswerte Fortschritte bei der Erfassung von Videoinhalten für QA-Dialoge erzielt. Allerdings haben sie Schwierigkeiten, dieses visuelle Verständnis auf Aufgaben auszudehnen, die eine präzise zeitliche Lokalisierung erfordern, bekannt als Video Temporal Grounding (VTG). Um diese Lücke zu schließen, stellen wir Number-Prompt (NumPro) vor, eine neuartige Methode, die Vid-LLMs befähigt, visuelles Verständnis mit zeitlicher Verankerung zu verbinden, indem sie eindeutige numerische Identifikatoren zu jedem Videobild hinzufügt. Indem ein Video als Sequenz nummerierter Bildrahmen behandelt wird, verwandelt NumPro VTG in einen intuitiven Prozess: Durchblättern von Manga-Paneln in Sequenz. Dies ermöglicht es Vid-LLMs, Ereigniszeitpläne "zu lesen", indem sie visuelle Inhalte genau mit entsprechenden zeitlichen Informationen verknüpfen. Unsere Experimente zeigen, dass NumPro die VTG-Leistung von Spitzentechnologien der Vid-LLMs signifikant steigert, ohne zusätzliche Rechenkosten zu verursachen. Darüber hinaus definiert das Feintuning an einem durch NumPro verbesserten Datensatz einen neuen Stand der Technik für VTG, der frühere Spitzenmethoden um bis zu 6,9\% bei der Momentabfrage und 8,5\% bei der Highlight-Erkennung übertrifft. Der Code wird unter https://github.com/yongliang-wu/NumPro verfügbar sein.

English

Video Large Language Models (Vid-LLMs) have made remarkable advancements in comprehending video content for QA dialogue. However, they struggle to extend this visual understanding to tasks requiring precise temporal localization, known as Video Temporal Grounding (VTG). To address this gap, we introduce Number-Prompt (NumPro), a novel method that empowers Vid-LLMs to bridge visual comprehension with temporal grounding by adding unique numerical identifiers to each video frame. Treating a video as a sequence of numbered frame images, NumPro transforms VTG into an intuitive process: flipping through manga panels in sequence. This allows Vid-LLMs to "read" event timelines, accurately linking visual content with corresponding temporal information. Our experiments demonstrate that NumPro significantly boosts VTG performance of top-tier Vid-LLMs without additional computational cost. Furthermore, fine-tuning on a NumPro-enhanced dataset defines a new state-of-the-art for VTG, surpassing previous top-performing methods by up to 6.9\% in mIoU for moment retrieval and 8.5\% in mAP for highlight detection. The code will be available at https://github.com/yongliang-wu/NumPro.