TimeChat-Online: 80% van de visuele tokens zijn van nature redundant in streamingvideo's

TimeChat-Online: 80% Visual Tokens are Naturally Redundant in Streaming Videos

April 24, 2025

Auteurs: Linli Yao, Yicheng Li, Yuancheng Wei, Lei Li, Shuhuai Ren, Yuanxin Liu, Kun Ouyang, Lean Wang, Shicheng Li, Sida Li, Lingpeng Kong, Qi Liu, Yuanxing Zhang, Xu Sun

cs.AI

Samenvatting

De snelle groei van online videoplatforms, met name live streamingdiensten, heeft een dringende behoefte gecreëerd aan systemen voor real-time videobegrip. Deze systemen moeten continue videostreams verwerken en direct reageren op gebruikersvragen, wat unieke uitdagingen biedt voor huidige Video Large Language Models (VideoLLMs). Hoewel bestaande VideoLLMs uitblinken in het verwerken van complete video's, hebben ze aanzienlijke beperkingen in streaming scenario's vanwege hun onvermogen om dichte, redundante frames efficiënt te verwerken. Wij introduceren TimeChat-Online, een nieuwe online VideoLLM die een revolutie teweegbrengt in real-time video-interactie. De kern ervan is onze innovatieve Differential Token Drop (DTD)-module, die de fundamentele uitdaging van visuele redundantie in streaming video's aanpakt. Geïnspireerd door het Change Blindness-fenomeen in de menselijke visuele waarneming, behoudt DTD betekenisvolle temporele veranderingen terwijl het statische, redundante inhoud tussen frames filtert. Opmerkelijk is dat onze experimenten aantonen dat DTD een reductie van 82,8% in videotokens bereikt terwijl het 98% prestaties behoudt op StreamingBench, wat onthult dat meer dan 80% van de visuele inhoud in streaming video's van nature redundant is zonder taalbegeleiding. Om naadloze real-time interactie mogelijk te maken, presenteren we TimeChat-Online-139K, een uitgebreide streaming video-dataset met diverse interactiepatronen, waaronder backward-tracing, current-perception en future-responding scenario's. De unieke Proactive Response-capaciteit van TimeChat-Online, die van nature wordt bereikt door continue monitoring van video-scènetransities via DTD, onderscheidt het van conventionele benaderingen. Onze uitgebreide evaluatie toont de superieure prestaties van TimeChat-Online op streaming benchmarks (StreamingBench en OvOBench) en het behoud van competitieve resultaten op langdurige videotaken zoals Video-MME en MLVU.

English

The rapid growth of online video platforms, particularly live streaming services, has created an urgent need for real-time video understanding systems. These systems must process continuous video streams and respond to user queries instantaneously, presenting unique challenges for current Video Large Language Models (VideoLLMs). While existing VideoLLMs excel at processing complete videos, they face significant limitations in streaming scenarios due to their inability to handle dense, redundant frames efficiently. We introduce TimeChat-Online, a novel online VideoLLM that revolutionizes real-time video interaction. At its core lies our innovative Differential Token Drop (DTD) module, which addresses the fundamental challenge of visual redundancy in streaming videos. Drawing inspiration from human visual perception's Change Blindness phenomenon, DTD preserves meaningful temporal changes while filtering out static, redundant content between frames. Remarkably, our experiments demonstrate that DTD achieves an 82.8% reduction in video tokens while maintaining 98% performance on StreamingBench, revealing that over 80% of visual content in streaming videos is naturally redundant without requiring language guidance. To enable seamless real-time interaction, we present TimeChat-Online-139K, a comprehensive streaming video dataset featuring diverse interaction patterns including backward-tracing, current-perception, and future-responding scenarios. TimeChat-Online's unique Proactive Response capability, naturally achieved through continuous monitoring of video scene transitions via DTD, sets it apart from conventional approaches. Our extensive evaluation demonstrates TimeChat-Online's superior performance on streaming benchmarks (StreamingBench and OvOBench) and maintaining competitive results on long-form video tasks such as Video-MME and MLVU.