Paarweises RM: Führen Sie Best-of-N-Sampling mit Knockout-Turnieren durch.

Pairwise RM: Perform Best-of-N Sampling with Knockout Tournament

January 22, 2025

Autoren: Yantao Liu, Zijun Yao, Rui Min, Yixin Cao, Lei Hou, Juanzi Li

cs.AI

Zusammenfassung

Die Best-of-N (BoN)-Stichprobenziehung, eine gängige Strategie zur Skalierung von Large Language Models (LLMs) zur Testzeit, basiert auf Belohnungsmodellen, um die beste Kandidatenlösung aus mehreren Generationen auszuwählen. Traditionelle Belohnungsmodelle weisen jedoch oft willkürliche und inkonsistente Bewertungen auf, was ihre Wirksamkeit einschränkt. Um diesem Problem zu begegnen, schlagen wir ein Pairwise Reward Model (Pairwise RM) in Kombination mit einem Knockout-Turnier für BoN-Stichprobenziehung vor. Anstatt absolute Bewertungen zuzuweisen, bewertet Pairwise RM bei einem mathematischen Problem gleichzeitig die Korrektheit von zwei Kandidatenlösungen. Dieser Ansatz beseitigt die Notwendigkeit willkürlicher Bewertungen und ermöglicht die Kreuzvalidierung von Lösungen durch den parallelen Vergleich. Im Knockout-Turnier führt Pairwise RM paarweise Vergleiche zwischen Kandidatenlösungen durch und eliminiert iterativ die inkorrekten. Wir erstellen \ourdataset, einen groß angelegten Datensatz von 443K paarweisen Vergleichen, abgeleitet von NumiaMath und annotiert mit gemini-1.5-flash, und trainieren das Pairwise RM durch überwachtes Feintuning. Experimente mit MATH-500 und dem Olympiad Bench zeigen signifikante Verbesserungen gegenüber traditionellen diskriminativen Belohnungsmodellen. Eine 40\% bis 60\% relative Verbesserung wird bei den 50\% schwierigsten Problemen erzielt.

English

Best-of-N (BoN) sampling, a common strategy for test-time scaling of Large Language Models (LLMs), relies on reward models to select the best candidate solution from multiple generations. However, traditional reward models often assign arbitrary and inconsistent scores, limiting their effectiveness. To address this, we propose a Pairwise Reward Model (Pairwise RM) combined with a knockout tournament for BoN sampling. Instead of assigning absolute scores, given one math problem, Pairwise RM evaluates two candidate solutions' correctness simultaneously. This approach eliminates the need for arbitrary scoring and enables cross-validation of solutions through parallel comparison. In the knockout tournament, Pairwise RM conducts pairwise comparisons between candidate solutions and eliminates the incorrect ones iteratively. We construct \ourdataset, a large-scale dataset of 443K pairwise comparisons derived from NumiaMath and annotated using gemini-1.5-flash, and train the Pairwise RM via supervised fine-tuning. Experiments on MATH-500 and the Olympiad Bench demonstrate significant improvements over traditional discriminative reward models. And a 40\% to 60\% relative improvement is achieved on the top 50\% challenging problems.