Un approccio minimalista al ragionamento dei LLM: dal campionamento per rifiuto al rinforzo

A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce

April 15, 2025

Autori: Wei Xiong, Jiarui Yao, Yuhui Xu, Bo Pang, Lei Wang, Doyen Sahoo, Junnan Li, Nan Jiang, Tong Zhang, Caiming Xiong, Hanze Dong

cs.AI

Abstract

L'apprendimento per rinforzo (Reinforcement Learning, RL) è diventato un approccio predominante per il fine-tuning di grandi modelli linguistici (Large Language Models, LLMs) su compiti di ragionamento complesso. Tra i metodi recenti, GRPO si distingue per il suo successo empirico nell'addestramento di modelli come DeepSeek-R1, sebbene le fonti della sua efficacia rimangano poco comprese. In questo lavoro, esaminiamo GRPO da una prospettiva algoritmica simile al rinforzo e analizziamo i suoi componenti principali. Sorprendentemente, scopriamo che una semplice baseline di campionamento per rifiuto, RAFT, che addestra solo su campioni con ricompense positive, ottiene prestazioni competitive rispetto a GRPO e PPO. I nostri studi di ablazione rivelano che il vantaggio principale di GRPO deriva dallo scartare prompt con risposte completamente errate, piuttosto che dalla sua normalizzazione delle ricompense. Motivati da questa intuizione, proponiamo Reinforce-Rej, un'estensione minima del gradiente della politica che filtra sia i campioni completamente errati che quelli completamente corretti. Reinforce-Rej migliora l'efficienza e la stabilità KL, rappresentando un'alternativa leggera ma efficace ad algoritmi RL più complessi. Sosteniamo RAFT come una baseline robusta e interpretabile e suggeriamo che i progressi futuri dovrebbero concentrarsi su design più principiati per l'incorporazione di campioni negativi, piuttosto che affidarsi a essi indiscriminatamente. Le nostre scoperte forniscono indicazioni per il lavoro futuro nel post-training basato su ricompense dei LLM.

English

Reinforcement learning (RL) has become a prevailing approach for fine-tuning large language models (LLMs) on complex reasoning tasks. Among recent methods, GRPO stands out for its empirical success in training models such as DeepSeek-R1, yet the sources of its effectiveness remain poorly understood. In this work, we revisit GRPO from a reinforce-like algorithm perspective and analyze its core components. Surprisingly, we find that a simple rejection sampling baseline, RAFT, which trains only on positively rewarded samples, yields competitive performance than GRPO and PPO. Our ablation studies reveal that GRPO's main advantage arises from discarding prompts with entirely incorrect responses, rather than from its reward normalization. Motivated by this insight, we propose Reinforce-Rej, a minimal extension of policy gradient that filters both entirely incorrect and entirely correct samples. Reinforce-Rej improves KL efficiency and stability, serving as a lightweight yet effective alternative to more complex RL algorithms. We advocate RAFT as a robust and interpretable baseline, and suggest that future advances should focus on more principled designs for incorporating negative samples, rather than relying on them indiscriminately. Our findings provide guidance for future work in reward-based LLM post-training.