Лингвистическая обобщаемость масштабирования времени тестирования в математическом рассуждении

Linguistic Generalizability of Test-Time Scaling in Mathematical Reasoning

February 24, 2025

Авторы: Guijin Son, Jiwoo Hong, Hyunwoo Ko, James Thorne

cs.AI

Аннотация

Масштабирование вычислений на этапе предварительного обучения доказало свою эффективность для достижения мультиязычности, но справедливо ли это и для масштабирования на этапе тестирования? В данной работе мы представляем MCLM - мультиязычный математический бенчмарк, включающий задачи уровня соревнований на 55 языках. Мы тестируем три метода масштабирования на этапе тестирования - моделирование вознаграждения за результат (ORM), моделирование процесса вознаграждения (ORM) и принуждение к бюджету (BF) - как на Qwen2.5-1.5B Math, так и на MR1-1.5B, мультиязычной LLM, на которой мы обучались для расширенного рассуждения. Наши эксперименты показывают, что использование Qwen2.5-1.5B Math с ORM достигает оценки 35.8 на MCLM, в то время как BF на MR1-1.5B достигает 35.2. Хотя "мыслящие LLM" недавно привлекли значительное внимание, мы обнаружили, что их производительность сравнима с традиционными методами масштабирования, такими как выбор лучшего из N, когда они ограничены сходными уровнями операций с плавающей запятой вывода. Более того, хотя BF приводит к улучшению на 20 пунктов на английском AIME, он обеспечивает лишь средний прирост в 1.94 пункта по другим языкам - что является типичным для других методов масштабирования на этапе тестирования, которые мы изучали, подчеркивая, что масштабирование на этапе тестирования может не так эффективно обобщаться на мультиязычные задачи. Для поощрения дальнейших исследований мы публикуем MCLM, MR1-1.5B и результаты оценки.

English

Scaling pre-training compute has proven effective for achieving mulitlinguality, but does the same hold for test-time scaling? In this work, we introduce MCLM, a multilingual math benchmark featuring competition-level problems in 55 languages. We test three test-time scaling methods-Outcome Reward Modeling (ORM), Process Reward Modeling (ORM), and Budget Forcing (BF)-on both Qwen2.5-1.5B Math and MR1-1.5B, a multilingual LLM we trained for extended reasoning. Our experiments show that using Qwen2.5-1.5B Math with ORM achieves a score of 35.8 on MCLM, while BF on MR1-1.5B attains 35.2. Although "thinking LLMs" have recently garnered significant attention, we find that their performance is comparable to traditional scaling methods like best-of-N once constrained to similar levels of inference FLOPs. Moreover, while BF yields a 20-point improvement on English AIME, it provides only a 1.94-point average gain across other languages-a pattern consistent across the other test-time scaling methods we studied-higlighting that test-time scaling may not generalize as effectively to multilingual tasks. To foster further research, we release MCLM, MR1-1.5B, and evaluation results.