Affinamento Efficiente del Reinforcement Learning tramite Apprendimento Curriculare Adattivo

Efficient Reinforcement Finetuning via Adaptive Curriculum Learning

April 7, 2025

Autori: Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

cs.AI

Abstract

Il fine-tuning con rinforzo (RFT) ha dimostrato un grande potenziale per migliorare le capacità di ragionamento matematico dei modelli linguistici di grandi dimensioni (LLM), ma spesso risulta inefficiente in termini di campioni e calcolo, richiedendo un addestramento esteso. In questo lavoro, introduciamo AdaRFT (Adaptive Curriculum Reinforcement Finetuning), un metodo che migliora significativamente sia l'efficienza che l'accuratezza finale del RFT attraverso l'apprendimento adattivo basato su curriculum. AdaRFT regola dinamicamente la difficoltà dei problemi di addestramento in base ai segnali di ricompensa recenti del modello, garantendo che il modello si alleni costantemente su compiti che sono impegnativi ma risolvibili. Questa strategia di campionamento adattivo accelera l'apprendimento mantenendo un intervallo di difficoltà ottimale, evitando di sprecare calcoli su problemi troppo facili o troppo difficili. AdaRFT richiede solo un'estensione leggera agli algoritmi RFT standard come il Proximal Policy Optimization (PPO), senza modificare la funzione di ricompensa o l'architettura del modello. Esperimenti su dataset matematici di livello competitivo, inclusi problemi di tipo AMC, AIME e IMO, dimostrano che AdaRFT migliora significativamente sia l'efficienza dell'addestramento che le prestazioni di ragionamento. Valutiamo AdaRFT su diverse distribuzioni di dati e dimensioni del modello, mostrando che riduce il numero di passi di addestramento fino a 2x e migliora l'accuratezza in modo considerevole, offrendo un framework RFT più scalabile ed efficace.

English

Reinforcement finetuning (RFT) has shown great potential for enhancing the mathematical reasoning capabilities of large language models (LLMs), but it is often sample- and compute-inefficient, requiring extensive training. In this work, we introduce AdaRFT (Adaptive Curriculum Reinforcement Finetuning), a method that significantly improves both the efficiency and final accuracy of RFT through adaptive curriculum learning. AdaRFT dynamically adjusts the difficulty of training problems based on the model's recent reward signals, ensuring that the model consistently trains on tasks that are challenging but solvable. This adaptive sampling strategy accelerates learning by maintaining an optimal difficulty range, avoiding wasted computation on problems that are too easy or too hard. AdaRFT requires only a lightweight extension to standard RFT algorithms like Proximal Policy Optimization (PPO), without modifying the reward function or model architecture. Experiments on competition-level math datasets-including AMC, AIME, and IMO-style problems-demonstrate that AdaRFT significantly improves both training efficiency and reasoning performance. We evaluate AdaRFT across multiple data distributions and model sizes, showing that it reduces the number of training steps by up to 2x and improves accuracy by a considerable margin, offering a more scalable and effective RFT framework.