Ripensare il ridimensionamento del RL per i modelli visione-linguaggio: un framework trasparente, costruito da zero e uno schema di valutazione completo

Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme

April 3, 2025

Autori: Yan Ma, Steffi Chern, Xuyang Shen, Yiran Zhong, Pengfei Liu

cs.AI

Abstract

L'apprendimento per rinforzo (Reinforcement Learning, RL) ha recentemente dimostrato un forte potenziale nel migliorare le capacità di ragionamento dei grandi modelli linguistici e viene ora attivamente esteso ai modelli visione-linguaggio (Vision-Language Models, VLMs). Tuttavia, le applicazioni esistenti di RL nei VLMs spesso si basano su framework altamente ingegnerizzati che ostacolano la riproducibilità e l'accessibilità, mentre mancano di protocolli di valutazione standardizzati, rendendo difficile confrontare i risultati o interpretare le dinamiche di addestramento. Questo lavoro introduce un framework trasparente e costruito da zero per l'RL nei VLMs, offrendo una pipeline minimale ma funzionale in quattro fasi, validata su più modelli e dataset. Inoltre, viene proposto uno schema di valutazione standardizzato per analizzare le dinamiche di addestramento e i comportamenti riflessivi. Esperimenti estesi su compiti di ragionamento visivo rivelano risultati empirici chiave: la lunghezza delle risposte è sensibile ai semi casuali, la riflessione è correlata alla lunghezza dell'output, e l'RL supera costantemente il fine-tuning supervisionato (Supervised Fine-Tuning, SFT) nella generalizzazione, anche con dati di alta qualità. Questi risultati, insieme al framework proposto, mirano a stabilire una baseline riproducibile e a supportare un coinvolgimento più ampio nella ricerca sui VLMs basati su RL.

English

Reinforcement learning (RL) has recently shown strong potential in improving the reasoning capabilities of large language models and is now being actively extended to vision-language models (VLMs). However, existing RL applications in VLMs often rely on heavily engineered frameworks that hinder reproducibility and accessibility, while lacking standardized evaluation protocols, making it difficult to compare results or interpret training dynamics. This work introduces a transparent, from-scratch framework for RL in VLMs, offering a minimal yet functional four-step pipeline validated across multiple models and datasets. In addition, a standardized evaluation scheme is proposed to assess training dynamics and reflective behaviors. Extensive experiments on visual reasoning tasks uncover key empirical findings: response length is sensitive to random seeds, reflection correlates with output length, and RL consistently outperforms supervised fine-tuning (SFT) in generalization, even with high-quality data. These findings, together with the proposed framework, aim to establish a reproducible baseline and support broader engagement in RL-based VLM research.