Flow-DPO: Migliorare il Ragionamento Matematico di LLM attraverso l'Apprendimento Multi-Agente Online

Flow-DPO: Improving LLM Mathematical Reasoning through Online Multi-Agent Learning

October 29, 2024

Autori: Yihe Deng, Paul Mineiro

cs.AI

Abstract

Il ragionamento matematico è una capacità cruciale per i Grandi Modelli Linguistici (LLM), tuttavia generare tracce di ragionamento dettagliate e accurate rimane una sfida significativa. Questo articolo introduce un nuovo approccio per produrre tracce di ragionamento di alta qualità per il raffinamento dei LLM utilizzando Flussi di apprendimento online. Il nostro metodo impiega un Flusso incrementale di produzione dell'output, in cui i LLM componenti costruiscono soluzioni collaborativamente attraverso comunicazioni iterative. Addestriamo il Flusso utilizzando l'apprendimento online di Ottimizzazione delle Preferenze Dirette (DPO) con rollouts, generando coppie DPO per ogni esempio di addestramento e aggiornando i modelli in tempo reale. Confrontiamo direttamente la qualità delle tracce di ragionamento generate dal nostro metodo con quelle prodotte attraverso l'inferenza diretta del modello, dimostrando l'efficacia del nostro approccio nel migliorare le prestazioni dei LLM nei compiti di ragionamento matematico.

English

Mathematical reasoning is a crucial capability for Large Language Models (LLMs), yet generating detailed and accurate reasoning traces remains a significant challenge. This paper introduces a novel approach to produce high-quality reasoning traces for LLM fine-tuning using online learning Flows. Our method employs an incremental output production Flow, where component LLMs collaboratively construct solutions through iterative communication. We train the Flow using online Direct Preference Optimization (DPO) learning with rollouts, generating DPO pairs for each training example and updating models in real-time. We directly compare the quality of reasoning traces generated by our method with those produced through direct model inference, demonstrating the effectiveness of our approach in improving LLM performance in mathematical reasoning tasks.