MM-Eureka: Erforschung des visuellen Aha-Moments mit regelbasiertem großskaligem Reinforcement Learning

MM-Eureka: Exploring Visual Aha Moment with Rule-based Large-scale Reinforcement Learning

March 10, 2025

Autoren: Fanqing Meng, Lingxiao Du, Zongkai Liu, Zhixiang Zhou, Quanfeng Lu, Daocheng Fu, Botian Shi, Wenhai Wang, Junjun He, Kaipeng Zhang, Ping Luo, Yu Qiao, Qiaosheng Zhang, Wenqi Shao

cs.AI

Zusammenfassung

Wir präsentieren MM-Eureka, ein multimodales Reasoning-Modell, das regelbasiertes Reinforcement Learning (RL) im großen Maßstab erfolgreich auf multimodales Reasoning erweitert. Während regelbasiertes RL bemerkenswerte Erfolge bei der Verbesserung der Reasoning-Fähigkeiten von LLMs in Textdomänen gezeigt hat, blieb seine Anwendung in multimodalen Kontexten bisher eine Herausforderung. Unsere Arbeit reproduziert Schlüsselmerkmale textbasierter RL-Systeme wie DeepSeek-R1 im multimodalen Raum, einschließlich stetiger Steigerungen der Genauigkeitsbelohnung und der Antwortlänge sowie des Auftretens von Reflexionsverhalten. Wir zeigen, dass sowohl instruktionsfeinabgestimmte als auch vortrainierte Modelle durch regelbasiertes RL starke multimodale Reasoning-Fähigkeiten entwickeln können, ohne überwachte Feinabstimmung, und dabei eine überlegene Dateneffizienz im Vergleich zu alternativen Ansätzen aufweisen. Wir stellen unsere vollständige Pipeline als Open Source zur Verfügung, um weitere Forschungen in diesem Bereich zu fördern. Wir veröffentlichen alle unsere Codes, Modelle, Daten usw. unter https://github.com/ModalMinds/MM-EUREKA.

English

We present MM-Eureka, a multimodal reasoning model that successfully extends large-scale rule-based reinforcement learning (RL) to multimodal reasoning. While rule-based RL has shown remarkable success in improving LLMs' reasoning abilities in text domains, its application to multimodal settings has remained challenging. Our work reproduces key characteristics of text-based RL systems like DeepSeek-R1 in the multimodal space, including steady increases in accuracy reward and response length, and the emergence of reflection behaviors. We demonstrate that both instruction-tuned and pre-trained models can develop strong multimodal reasoning capabilities through rule-based RL without supervised fine-tuning, showing superior data efficiency compared to alternative approaches. We open-source our complete pipeline to foster further research in this area. We release all our codes, models, data, etc. at https://github.com/ModalMinds/MM-EUREKA