MathFusion: Verbesserung der mathematischen Problemlösungsfähigkeiten von LLM durch Instruktionsfusion

MathFusion: Enhancing Mathematic Problem-solving of LLM through Instruction Fusion

March 20, 2025

Autoren: Qizhi Pei, Lijun Wu, Zhuoshi Pan, Yu Li, Honglin Lin, Chenlin Ming, Xin Gao, Conghui He, Rui Yan

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben beeindruckende Fortschritte im mathematischen Denken gezeigt. Obwohl Datenanreicherung vielversprechend ist, um die Fähigkeit zur Lösung mathematischer Probleme zu verbessern, beschränken sich aktuelle Ansätze überwiegend auf Instanz-ebene-Modifikationen – wie Umformulierungen oder die Erzeugung syntaktischer Variationen –, die die intrinsischen relationalen Strukturen, die dem mathematischen Wissen innewohnen, nicht erfassen und nutzen können. Inspiriert von menschlichen Lernprozessen, bei denen mathematische Kompetenz durch systematische Exposition gegenüber vernetzten Konzepten entwickelt wird, stellen wir MathFusion vor, ein neuartiges Framework, das das mathematische Denken durch die Synthese von Anweisungen über Probleme hinweg verbessert. MathFusion implementiert dies durch drei Fusionsstrategien: (1) sequenzielle Fusion, die verwandte Probleme verknüpft, um Lösungsabhängigkeiten zu modellieren; (2) parallele Fusion, die analoge Probleme kombiniert, um das konzeptuelle Verständnis zu stärken; und (3) konditionale Fusion, die kontextbewusste selektive Probleme erzeugt, um die Flexibilität des Denkens zu erhöhen. Durch die Anwendung dieser Strategien generieren wir einen neuen Datensatz, MathFusionQA, gefolgt vom Feinabstimmen von Modellen (DeepSeekMath-7B, Mistral-7B, Llama3-8B) darauf. Experimentelle Ergebnisse zeigen, dass MathFusion erhebliche Verbesserungen im mathematischen Denken erzielt, während eine hohe Dateneffizienz beibehalten wird, und die Leistung um 18,0 Punkte in der Genauigkeit über diverse Benchmarks hinweg steigert, während nur 45K zusätzliche synthetische Anweisungen benötigt werden, was eine deutliche Verbesserung gegenüber traditionellen Einzelanweisungsansätzen darstellt. Unsere Datensätze, Modelle und Code sind öffentlich verfügbar unter https://github.com/QizhiPei/mathfusion.

English

Large Language Models (LLMs) have shown impressive progress in mathematical reasoning. While data augmentation is promising to enhance mathematical problem-solving ability, current approaches are predominantly limited to instance-level modifications-such as rephrasing or generating syntactic variations-which fail to capture and leverage the intrinsic relational structures inherent in mathematical knowledge. Inspired by human learning processes, where mathematical proficiency develops through systematic exposure to interconnected concepts, we introduce MathFusion, a novel framework that enhances mathematical reasoning through cross-problem instruction synthesis. MathFusion implements this through three fusion strategies: (1) sequential fusion, which chains related problems to model solution dependencies; (2) parallel fusion, which combines analogous problems to reinforce conceptual understanding; and (3) conditional fusion, which creates context-aware selective problems to enhance reasoning flexibility. By applying these strategies, we generate a new dataset, MathFusionQA, followed by fine-tuning models (DeepSeekMath-7B, Mistral-7B, Llama3-8B) on it. Experimental results demonstrate that MathFusion achieves substantial improvements in mathematical reasoning while maintaining high data efficiency, boosting performance by 18.0 points in accuracy across diverse benchmarks while requiring only 45K additional synthetic instructions, representing a substantial improvement over traditional single-instruction approaches. Our datasets, models, and code are publicly available at https://github.com/QizhiPei/mathfusion.