Nummer het: Temporele verankering van video's zoals het omslaan van manga.

Number it: Temporal Grounding Videos like Flipping Manga

November 15, 2024

Auteurs: Yongliang Wu, Xinting Hu, Yuyang Sun, Yizhou Zhou, Wenbo Zhu, Fengyun Rao, Bernt Schiele, Xu Yang

cs.AI

Samenvatting

Video Large Language Models (Vid-LLMs) hebben opmerkelijke vooruitgang geboekt in het begrijpen van videomateriaal voor QA-dialogen. Echter, ze hebben moeite om deze visuele begrip uit te breiden naar taken die een nauwkeurige temporele lokalisatie vereisen, bekend als Video Temporal Grounding (VTG). Om deze kloof te overbruggen, introduceren we Number-Prompt (NumPro), een nieuw methodiek die Vid-LLMs in staat stelt om visueel begrip te verbinden met temporele lokalisatie door unieke numerieke identificatoren toe te voegen aan elk videoframe. Door een video te behandelen als een reeks genummerde frameafbeeldingen, transformeert NumPro VTG in een intuïtief proces: door manga-panelen in volgorde te bladeren. Dit stelt Vid-LLMs in staat om "gebeurtenistijdlijnen" te "lezen", waarbij ze visuele inhoud nauwkeurig koppelen aan bijbehorende temporele informatie. Onze experimenten tonen aan dat NumPro de VTG-prestaties van topklasse Vid-LLMs aanzienlijk verbetert zonder extra rekenkundige kosten. Bovendien definieert fine-tuning op een NumPro-versterkte dataset een nieuwe state-of-the-art voor VTG, waarbij eerdere best presterende methoden worden overtroffen met maximaal 6,9% in mIoU voor momentopvraging en 8,5% in mAP voor highlight-detectie. De code zal beschikbaar zijn op https://github.com/yongliang-wu/NumPro.

English

Video Large Language Models (Vid-LLMs) have made remarkable advancements in comprehending video content for QA dialogue. However, they struggle to extend this visual understanding to tasks requiring precise temporal localization, known as Video Temporal Grounding (VTG). To address this gap, we introduce Number-Prompt (NumPro), a novel method that empowers Vid-LLMs to bridge visual comprehension with temporal grounding by adding unique numerical identifiers to each video frame. Treating a video as a sequence of numbered frame images, NumPro transforms VTG into an intuitive process: flipping through manga panels in sequence. This allows Vid-LLMs to "read" event timelines, accurately linking visual content with corresponding temporal information. Our experiments demonstrate that NumPro significantly boosts VTG performance of top-tier Vid-LLMs without additional computational cost. Furthermore, fine-tuning on a NumPro-enhanced dataset defines a new state-of-the-art for VTG, surpassing previous top-performing methods by up to 6.9\% in mIoU for moment retrieval and 8.5\% in mAP for highlight detection. The code will be available at https://github.com/yongliang-wu/NumPro.