TimeChat-Online: 80 % der visuellen Tokens sind in Streaming-Videos natürlicherweise redundant

TimeChat-Online: 80% Visual Tokens are Naturally Redundant in Streaming Videos

April 24, 2025

Autoren: Linli Yao, Yicheng Li, Yuancheng Wei, Lei Li, Shuhuai Ren, Yuanxin Liu, Kun Ouyang, Lean Wang, Shicheng Li, Sida Li, Lingpeng Kong, Qi Liu, Yuanxing Zhang, Xu Sun

cs.AI

Zusammenfassung

Das rasante Wachstum von Online-Videoplattformen, insbesondere Live-Streaming-Diensten, hat einen dringenden Bedarf an Echtzeit-Videoanalyse-Systemen geschaffen. Diese Systeme müssen kontinuierliche Videoströme verarbeiten und sofort auf Benutzeranfragen reagieren, was einzigartige Herausforderungen für aktuelle Video Large Language Models (VideoLLMs) darstellt. Während bestehende VideoLLMs bei der Verarbeitung vollständiger Videos hervorragend abschneiden, stoßen sie in Streaming-Szenarien aufgrund ihrer Unfähigkeit, dichte, redundante Frames effizient zu verarbeiten, auf erhebliche Einschränkungen. Wir stellen TimeChat-Online vor, ein neuartiges Online-VideoLLM, das die Echtzeit-Videointeraktion revolutioniert. Im Kern liegt unser innovatives Differential Token Drop (DTD)-Modul, das die grundlegende Herausforderung der visuellen Redundanz in Streaming-Videos adressiert. Inspiriert vom Phänomen der Change Blindness in der menschlichen visuellen Wahrnehmung, bewahrt DTD bedeutungsvolle zeitliche Veränderungen und filtert statische, redundante Inhalte zwischen den Frames heraus. Bemerkenswerterweise zeigen unsere Experimente, dass DTD eine Reduktion der Video-Tokens um 82,8 % erreicht, während 98 % der Leistung auf StreamingBench erhalten bleiben, was offenbart, dass über 80 % des visuellen Inhalts in Streaming-Videos natürlich redundant sind, ohne sprachliche Anleitung zu benötigen. Um nahtlose Echtzeit-Interaktion zu ermöglichen, präsentieren wir TimeChat-Online-139K, einen umfassenden Streaming-Video-Datensatz mit diversen Interaktionsmustern, darunter Rückwärtsverfolgung, aktuelle Wahrnehmung und zukunftsorientierte Reaktionsszenarien. Die einzigartige Proaktive Reaktionsfähigkeit von TimeChat-Online, die durch die kontinuierliche Überwachung von Videoszenenübergängen via DTD natürlich erreicht wird, unterscheidet es von konventionellen Ansätzen. Unsere umfangreiche Evaluation zeigt die überlegene Leistung von TimeChat-Online auf Streaming-Benchmarks (StreamingBench und OvOBench) und die Beibehaltung wettbewerbsfähiger Ergebnisse bei langen Videoaufgaben wie Video-MME und MLVU.

English

The rapid growth of online video platforms, particularly live streaming services, has created an urgent need for real-time video understanding systems. These systems must process continuous video streams and respond to user queries instantaneously, presenting unique challenges for current Video Large Language Models (VideoLLMs). While existing VideoLLMs excel at processing complete videos, they face significant limitations in streaming scenarios due to their inability to handle dense, redundant frames efficiently. We introduce TimeChat-Online, a novel online VideoLLM that revolutionizes real-time video interaction. At its core lies our innovative Differential Token Drop (DTD) module, which addresses the fundamental challenge of visual redundancy in streaming videos. Drawing inspiration from human visual perception's Change Blindness phenomenon, DTD preserves meaningful temporal changes while filtering out static, redundant content between frames. Remarkably, our experiments demonstrate that DTD achieves an 82.8% reduction in video tokens while maintaining 98% performance on StreamingBench, revealing that over 80% of visual content in streaming videos is naturally redundant without requiring language guidance. To enable seamless real-time interaction, we present TimeChat-Online-139K, a comprehensive streaming video dataset featuring diverse interaction patterns including backward-tracing, current-perception, and future-responding scenarios. TimeChat-Online's unique Proactive Response capability, naturally achieved through continuous monitoring of video scene transitions via DTD, sets it apart from conventional approaches. Our extensive evaluation demonstrates TimeChat-Online's superior performance on streaming benchmarks (StreamingBench and OvOBench) and maintaining competitive results on long-form video tasks such as Video-MME and MLVU.