TinyLLaVA-Video-R1: Verso Modelli Linguistici Multimodali più Piccoli per il Ragionamento Video

TinyLLaVA-Video-R1: Towards Smaller LMMs for Video Reasoning

April 13, 2025

Autori: Xingjian Zhang, Siwei Wen, Wenjun Wu, Lei Huang

cs.AI

Abstract

Recentemente, il miglioramento della capacità di ragionamento dei modelli multimodali di grandi dimensioni (LMMs) attraverso l'apprendimento per rinforzo ha compiuto notevoli progressi. Tuttavia, la maggior parte dei lavori esistenti si basa su dataset ad alta intensità di ragionamento come la matematica e il codice, e i ricercatori generalmente scelgono modelli di grandi dimensioni come base. Sosteniamo che esplorare le capacità di ragionamento di modelli di piccole dimensioni rimanga prezioso per i ricercatori con risorse computazionali limitate. Inoltre, consentire ai modelli di spiegare i loro processi di ragionamento su dataset generali di domande e risposte è altrettanto significativo. Pertanto, presentiamo il modello di ragionamento video su piccola scala TinyLLaVA-Video-R1. Basato su TinyLLaVA-Video, un modello di comprensione video addestrato in modo tracciabile con non più di 4 miliardi di parametri, non solo dimostra capacità di ragionamento e pensiero significativamente migliorate dopo l'uso dell'apprendimento per rinforzo su dataset generali di Video-QA, ma mostra anche la caratteristica emergente dei "momenti di intuizione". Inoltre, condividiamo una serie di risultati sperimentali, con l'obiettivo di fornire spunti pratici per future esplorazioni delle capacità di ragionamento (pensiero) video in modelli di piccole dimensioni. È disponibile all'indirizzo https://github.com/ZhangXJ199/TinyLLaVA-Video-R1.

English

Recently, improving the reasoning ability of large multimodal models (LMMs) through reinforcement learning has made great progress. However, most existing works are based on highly reasoning-intensive datasets such as mathematics and code, and researchers generally choose large-scale models as the foundation. We argue that exploring small-scale models' reasoning capabilities remains valuable for researchers with limited computational resources. Moreover, enabling models to explain their reasoning processes on general question-answering datasets is equally meaningful. Therefore, we present the small-scale video reasoning model TinyLLaVA-Video-R1. Based on TinyLLaVA-Video, a traceably trained video understanding model with no more than 4B parameters, it not only demonstrates significantly improved reasoning and thinking capabilities after using reinforcement learning on general Video-QA datasets, but also exhibits the emergent characteristic of "aha moments". Furthermore, we share a series of experimental findings, aiming to provide practical insights for future exploration of video reasoning (thinking) abilities in small-scale models. It is available at https://github.com/ZhangXJ199/TinyLLaVA-Video-R1.