VideoRefer Suite: Avanzamento della comprensione degli oggetti spazio-temporali con Video LLM

VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM

December 31, 2024

Autori: Yuqian Yuan, Hang Zhang, Wentong Li, Zesen Cheng, Boqiang Zhang, Long Li, Xin Li, Deli Zhao, Wenqiao Zhang, Yueting Zhuang, Jianke Zhu, Lidong Bing

cs.AI

Abstract

I Video Large Language Models (Video LLMs) hanno recentemente mostrato notevoli capacità nella comprensione generale dei video. Tuttavia, si concentrano principalmente sulla comprensione olistica e faticano a catturare dettagli spaziali e temporali dettagliati. Inoltre, la mancanza di dati di istruzione video di alta qualità a livello di oggetto e di un benchmark esaustivo ostacola ulteriormente i loro progressi. Per affrontare queste sfide, introduciamo il VideoRefer Suite per potenziare i Video LLM per una comprensione video spazio-temporale a livello più dettagliato, consentendo la percezione e il ragionamento su qualsiasi oggetto presente nel video. In particolare, sviluppiamo in modo approfondito VideoRefer Suite su tre aspetti essenziali: dataset, modello e benchmark. In primo luogo, introduciamo un motore dati multi-agente per curare attentamente un dataset di istruzioni video a livello di oggetto su larga scala e di alta qualità, denominato VideoRefer-700K. Successivamente, presentiamo il modello VideoRefer, che equipaggia un versatile codificatore di oggetti spazio-temporali per catturare rappresentazioni regionali e sequenziali precise. Infine, creiamo meticolosamente un VideoRefer-Bench per valutare in modo esaustivo la capacità di comprensione spazio-temporale di un Video LLM, valutandolo su vari aspetti. Estesi esperimenti e analisi dimostrano che il nostro modello VideoRefer non solo raggiunge prestazioni promettenti sui benchmark di riferimento video, ma facilita anche le capacità di comprensione generale dei video.

English

Video Large Language Models (Video LLMs) have recently exhibited remarkable capabilities in general video understanding. However, they mainly focus on holistic comprehension and struggle with capturing fine-grained spatial and temporal details. Besides, the lack of high-quality object-level video instruction data and a comprehensive benchmark further hinders their advancements. To tackle these challenges, we introduce the VideoRefer Suite to empower Video LLM for finer-level spatial-temporal video understanding, i.e., enabling perception and reasoning on any objects throughout the video. Specially, we thoroughly develop VideoRefer Suite across three essential aspects: dataset, model, and benchmark. Firstly, we introduce a multi-agent data engine to meticulously curate a large-scale, high-quality object-level video instruction dataset, termed VideoRefer-700K. Next, we present the VideoRefer model, which equips a versatile spatial-temporal object encoder to capture precise regional and sequential representations. Finally, we meticulously create a VideoRefer-Bench to comprehensively assess the spatial-temporal understanding capability of a Video LLM, evaluating it across various aspects. Extensive experiments and analyses demonstrate that our VideoRefer model not only achieves promising performance on video referring benchmarks but also facilitates general video understanding capabilities.