TimeChat-Online : 80 % des tokens visuels sont naturellement redondants dans les vidéos en streaming

TimeChat-Online: 80% Visual Tokens are Naturally Redundant in Streaming Videos

April 24, 2025

Auteurs: Linli Yao, Yicheng Li, Yuancheng Wei, Lei Li, Shuhuai Ren, Yuanxin Liu, Kun Ouyang, Lean Wang, Shicheng Li, Sida Li, Lingpeng Kong, Qi Liu, Yuanxing Zhang, Xu Sun

cs.AI

Résumé

La croissance rapide des plateformes vidéo en ligne, en particulier des services de diffusion en direct, a créé un besoin urgent de systèmes de compréhension vidéo en temps réel. Ces systèmes doivent traiter des flux vidéo continus et répondre instantanément aux requêtes des utilisateurs, posant des défis uniques pour les modèles de langage vidéo à grande échelle (VideoLLMs) actuels. Bien que les VideoLLMs existants excellent dans le traitement de vidéos complètes, ils rencontrent des limitations significatives dans les scénarios de streaming en raison de leur incapacité à gérer efficacement les images denses et redondantes. Nous présentons TimeChat-Online, un nouveau VideoLLM en ligne qui révolutionne l'interaction vidéo en temps réel. Au cœur de ce modèle se trouve notre module innovant de suppression différentielle de tokens (DTD), qui aborde le défi fondamental de la redondance visuelle dans les vidéos en streaming. S'inspirant du phénomène de cécité au changement dans la perception visuelle humaine, le DTD préserve les changements temporels significatifs tout en filtrant le contenu statique et redondant entre les images. De manière remarquable, nos expériences montrent que le DTD réduit de 82,8 % les tokens vidéo tout en maintenant 98 % des performances sur StreamingBench, révélant que plus de 80 % du contenu visuel dans les vidéos en streaming est naturellement redondant sans nécessiter de guidage linguistique. Pour permettre une interaction en temps réel fluide, nous présentons TimeChat-Online-139K, un ensemble de données complet de vidéos en streaming comportant divers modèles d'interaction, y compris des scénarios de rétro-tracé, de perception actuelle et de réponse future. La capacité unique de Réponse Proactive de TimeChat-Online, naturellement obtenue grâce à la surveillance continue des transitions de scènes vidéo via le DTD, le distingue des approches conventionnelles. Notre évaluation approfondie démontre la performance supérieure de TimeChat-Online sur les benchmarks de streaming (StreamingBench et OvOBench) tout en maintenant des résultats compétitifs sur les tâches de vidéo longue durée telles que Video-MME et MLVU.

English

The rapid growth of online video platforms, particularly live streaming services, has created an urgent need for real-time video understanding systems. These systems must process continuous video streams and respond to user queries instantaneously, presenting unique challenges for current Video Large Language Models (VideoLLMs). While existing VideoLLMs excel at processing complete videos, they face significant limitations in streaming scenarios due to their inability to handle dense, redundant frames efficiently. We introduce TimeChat-Online, a novel online VideoLLM that revolutionizes real-time video interaction. At its core lies our innovative Differential Token Drop (DTD) module, which addresses the fundamental challenge of visual redundancy in streaming videos. Drawing inspiration from human visual perception's Change Blindness phenomenon, DTD preserves meaningful temporal changes while filtering out static, redundant content between frames. Remarkably, our experiments demonstrate that DTD achieves an 82.8% reduction in video tokens while maintaining 98% performance on StreamingBench, revealing that over 80% of visual content in streaming videos is naturally redundant without requiring language guidance. To enable seamless real-time interaction, we present TimeChat-Online-139K, a comprehensive streaming video dataset featuring diverse interaction patterns including backward-tracing, current-perception, and future-responding scenarios. TimeChat-Online's unique Proactive Response capability, naturally achieved through continuous monitoring of video scene transitions via DTD, sets it apart from conventional approaches. Our extensive evaluation demonstrates TimeChat-Online's superior performance on streaming benchmarks (StreamingBench and OvOBench) and maintaining competitive results on long-form video tasks such as Video-MME and MLVU.