Miglioramento del Ragionamento Visivo-Spaziale tramite Addestramento di Tipo R1-Zero

Improved Visual-Spatial Reasoning via R1-Zero-Like Training

April 1, 2025

Autori: Zhenyi Liao, Qingsong Xie, Yanhao Zhang, Zijian Kong, Haonan Lu, Zhenyu Yang, Zhijie Deng

cs.AI

Abstract

Un'attenzione crescente è stata rivolta al miglioramento delle capacità di ragionamento dei modelli linguistici multimodali di grandi dimensioni (MLLM). Come pilastro fondamentale per gli agenti di intelligenza artificiale che operano nel mondo fisico, l'intelligenza visivo-spaziale basata su video (VSI) emerge come una delle capacità di ragionamento più cruciali degli MLLM. Questo lavoro rappresenta il primo studio approfondito sul miglioramento del ragionamento visivo-spaziale degli MLLM attraverso un addestramento simile a R1-Zero. Tecnicamente, abbiamo inizialmente identificato che le capacità di ragionamento visivo-spaziale dei modelli Qwen2-VL di piccole e medie dimensioni non possono essere attivate tramite prompt a catena di pensiero (CoT). Successivamente, abbiamo integrato l'addestramento GRPO per migliorare il ragionamento visivo-spaziale, utilizzando il dataset VSI-100k accuratamente curato, seguendo l'approccio DeepSeek-R1-Zero. Durante l'indagine, abbiamo identificato la necessità di mantenere la penalità KL (anche con un valore ridotto) in GRPO. Con sole 120 ore di GPU, il nostro modello vsGRPO-2B, ottimizzato a partire da Qwen2-VL-2B, supera il modello base del 12,1% e supera GPT-4o. Inoltre, il nostro modello vsGRPO-7B, ottimizzato a partire da Qwen2-VL-7B, raggiunge prestazioni paragonabili a quelle del miglior modello open-source, LLaVA-NeXT-Video-72B. In aggiunta, confrontiamo vsGRPO con i baselines di fine-tuning supervisionato e ottimizzazione diretta delle preferenze, osservando una forte superiorità nelle prestazioni. Il codice e il dataset saranno presto disponibili.

English

Increasing attention has been placed on improving the reasoning capacities of multi-modal large language models (MLLMs). As the cornerstone for AI agents that function in the physical realm, video-based visual-spatial intelligence (VSI) emerges as one of the most pivotal reasoning capabilities of MLLMs. This work conducts a first, in-depth study on improving the visual-spatial reasoning of MLLMs via R1-Zero-like training. Technically, we first identify that the visual-spatial reasoning capacities of small- to medium-sized Qwen2-VL models cannot be activated via Chain of Thought (CoT) prompts. We then incorporate GRPO training for improved visual-spatial reasoning, using the carefully curated VSI-100k dataset, following DeepSeek-R1-Zero. During the investigation, we identify the necessity to keep the KL penalty (even with a small value) in GRPO. With just 120 GPU hours, our vsGRPO-2B model, fine-tuned from Qwen2-VL-2B, can outperform the base model by 12.1% and surpass GPT-4o. Moreover, our vsGRPO-7B model, fine-tuned from Qwen2-VL-7B, achieves performance comparable to that of the best open-source model LLaVA-NeXT-Video-72B. Additionally, we compare vsGRPO to supervised fine-tuning and direct preference optimization baselines and observe strong performance superiority. The code and dataset will be available soon.