FastCuRL: Curriculum Reinforcement Learning mit progressiver Kontexterweiterung für effizientes Training von R1-ähnlichen Reasoning-Modellen

FastCuRL: Curriculum Reinforcement Learning with Progressive Context Extension for Efficient Training R1-like Reasoning Models

March 21, 2025

Autoren: Mingyang Song, Mao Zheng, Zheng Li, Wenjie Yang, Xuan Luo, Yue Pan, Feng Zhang

cs.AI

Zusammenfassung

In diesem Artikel stellen wir \textsc{FastCuRL} vor, einen einfachen, aber effizienten Ansatz für Curriculum Reinforcement Learning mit einer Strategie zur Erweiterung des Kontextfensters, um die Trainings effizienz von R1-ähnlichen Reasoning-Modellen zu beschleunigen und gleichzeitig ihre Leistung bei der Bewältigung komplexer Reasoning-Aufgaben mit langen Chain-of-Thought-Begründungen zu verbessern, insbesondere bei einem Sprachmodell mit 1,5 Milliarden Parametern. \textsc{FastCuRL} besteht aus zwei Hauptverfahren: der längenbewussten Segmentierung der Trainingsdaten und dem Training mit erweitertem Kontextfenster. Konkret teilt das erstgenannte Verfahren die ursprünglichen Trainingsdaten zunächst in drei verschiedene Schwierigkeitsstufen basierend auf der Länge der Eingabeaufforderung ein, während das letztgenannte Verfahren segmentierte Trainingsdatensätze mit schrittweise ansteigender Kontextfensterlänge nutzt, um das Reasoning-Modell zu trainieren. Experimentelle Ergebnisse zeigen, dass \textsc{FastCuRL}-1.5B-Preview DeepScaleR-1.5B-Preview in allen fünf Datensätzen (einschließlich MATH 500, AIME 2024, AMC 2023, Minerva Math und OlympiadBench) übertrifft, obwohl nur 50\% der Trainingsschritte verwendet werden. Darüber hinaus werden alle Trainingsphasen für FastCuRL-1.5B-Preview mit nur einem Knoten und 8 GPUs abgeschlossen.

English

In this paper, we propose \textsc{FastCuRL}, a simple yet efficient Curriculum Reinforcement Learning approach with context window extending strategy to accelerate the reinforcement learning training efficiency for R1-like reasoning models while enhancing their performance in tackling complex reasoning tasks with long chain-of-thought rationales, particularly with a 1.5B parameter language model. \textsc{FastCuRL} consists of two main procedures: length-aware training data segmentation and context window extension training. Specifically, the former first splits the original training data into three different levels by the input prompt length, and then the latter leverages segmented training datasets with a progressively increasing context window length to train the reasoning model. Experimental results demonstrate that \textsc{FastCuRL}-1.5B-Preview surpasses DeepScaleR-1.5B-Preview across all five datasets (including MATH 500, AIME 2024, AMC 2023, Minerva Math, and OlympiadBench) while only utilizing 50\% of training steps. Furthermore, all training stages for FastCuRL-1.5B-Preview are completed using just a single node with 8 GPUs.