VideoRefer Suite: Avançando a Compreensão de Objetos Espaço-Temporais com o Video LLM

VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM

December 31, 2024

Autores: Yuqian Yuan, Hang Zhang, Wentong Li, Zesen Cheng, Boqiang Zhang, Long Li, Xin Li, Deli Zhao, Wenqiao Zhang, Yueting Zhuang, Jianke Zhu, Lidong Bing

cs.AI

Resumo

Os Modelos de Linguagem em Vídeo de Grande Escala (Video LLMs) têm demonstrado recentemente capacidades notáveis em compreensão geral de vídeos. No entanto, eles se concentram principalmente na compreensão holística e têm dificuldade em capturar detalhes espaciais e temporais refinados. Além disso, a falta de dados de instrução em vídeo em nível de objeto de alta qualidade e de um benchmark abrangente também dificulta seus avanços. Para enfrentar esses desafios, introduzimos o VideoRefer Suite para capacitar o Video LLM para uma compreensão de vídeo espacial-temporal em níveis mais refinados, ou seja, permitindo a percepção e o raciocínio sobre quaisquer objetos ao longo do vídeo. Especificamente, desenvolvemos minuciosamente o VideoRefer Suite em três aspectos essenciais: conjunto de dados, modelo e benchmark. Em primeiro lugar, introduzimos um mecanismo de dados multiagente para cuidadosamente criar um conjunto de dados de instrução em vídeo em nível de objeto em grande escala e de alta qualidade, denominado VideoRefer-700K. Em seguida, apresentamos o modelo VideoRefer, que equipa um codificador de objeto espacial-temporal versátil para capturar representações regionais e sequenciais precisas. Por fim, criamos minuciosamente um VideoRefer-Bench para avaliar abrangentemente a capacidade de compreensão espacial-temporal de um Video LLM, avaliando-o em vários aspectos. Experimentos extensivos e análises demonstram que nosso modelo VideoRefer não apenas alcança um desempenho promissor em benchmarks de referência de vídeo, mas também facilita as capacidades gerais de compreensão de vídeo.

English

Video Large Language Models (Video LLMs) have recently exhibited remarkable capabilities in general video understanding. However, they mainly focus on holistic comprehension and struggle with capturing fine-grained spatial and temporal details. Besides, the lack of high-quality object-level video instruction data and a comprehensive benchmark further hinders their advancements. To tackle these challenges, we introduce the VideoRefer Suite to empower Video LLM for finer-level spatial-temporal video understanding, i.e., enabling perception and reasoning on any objects throughout the video. Specially, we thoroughly develop VideoRefer Suite across three essential aspects: dataset, model, and benchmark. Firstly, we introduce a multi-agent data engine to meticulously curate a large-scale, high-quality object-level video instruction dataset, termed VideoRefer-700K. Next, we present the VideoRefer model, which equips a versatile spatial-temporal object encoder to capture precise regional and sequential representations. Finally, we meticulously create a VideoRefer-Bench to comprehensively assess the spatial-temporal understanding capability of a Video LLM, evaluating it across various aspects. Extensive experiments and analyses demonstrate that our VideoRefer model not only achieves promising performance on video referring benchmarks but also facilitates general video understanding capabilities.