Numerarlo: Temporalizzazione dei video come nel ribaltamento dei manga

Number it: Temporal Grounding Videos like Flipping Manga

November 15, 2024

Autori: Yongliang Wu, Xinting Hu, Yuyang Sun, Yizhou Zhou, Wenbo Zhu, Fengyun Rao, Bernt Schiele, Xu Yang

cs.AI

Abstract

I modelli linguistici video di grandi dimensioni (Vid-LLMs) hanno compiuto notevoli progressi nella comprensione dei contenuti video per il dialogo di domande e risposte. Tuttavia, faticano ad estendere questa comprensione visiva a compiti che richiedono una precisa localizzazione temporale, noti come Ancoraggio Temporale Video (VTG). Per affrontare questa lacuna, presentiamo Number-Prompt (NumPro), un nuovo metodo che permette ai Vid-LLMs di collegare la comprensione visiva con l'ancoraggio temporale aggiungendo identificatori numerici unici a ciascun frame video. Trattando un video come una sequenza di immagini di frame numerate, NumPro trasforma il VTG in un processo intuitivo: sfogliare pannelli di manga in sequenza. Ciò consente ai Vid-LLMs di "leggere" le linee temporali degli eventi, collegando accuratamente i contenuti visivi con le informazioni temporali corrispondenti. I nostri esperimenti dimostrano che NumPro migliora significativamente le prestazioni di VTG dei migliori Vid-LLMs senza costi computazionali aggiuntivi. Inoltre, il raffinamento su un dataset potenziato da NumPro definisce un nuovo stato dell'arte per il VTG, superando i metodi precedenti più performanti fino al 6,9\% nell'indice di sovrapposizione media per il recupero di momenti e dell'8,5\% nell'AP media per la rilevazione dei momenti salienti. Il codice sarà disponibile su https://github.com/yongliang-wu/NumPro.

English

Video Large Language Models (Vid-LLMs) have made remarkable advancements in comprehending video content for QA dialogue. However, they struggle to extend this visual understanding to tasks requiring precise temporal localization, known as Video Temporal Grounding (VTG). To address this gap, we introduce Number-Prompt (NumPro), a novel method that empowers Vid-LLMs to bridge visual comprehension with temporal grounding by adding unique numerical identifiers to each video frame. Treating a video as a sequence of numbered frame images, NumPro transforms VTG into an intuitive process: flipping through manga panels in sequence. This allows Vid-LLMs to "read" event timelines, accurately linking visual content with corresponding temporal information. Our experiments demonstrate that NumPro significantly boosts VTG performance of top-tier Vid-LLMs without additional computational cost. Furthermore, fine-tuning on a NumPro-enhanced dataset defines a new state-of-the-art for VTG, surpassing previous top-performing methods by up to 6.9\% in mIoU for moment retrieval and 8.5\% in mAP for highlight detection. The code will be available at https://github.com/yongliang-wu/NumPro.