Demistificazione dell'Addestramento Post-domain-adaptive per Modelli Linguistici Finanziari

Demystifying Domain-adaptive Post-training for Financial LLMs

January 9, 2025

Autori: Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty

cs.AI

Abstract

Il post-addestramento adattivo di modelli linguistici di grandi dimensioni (LLM) nel dominio si è rivelato un approccio promettente per domini specializzati come la medicina e le finanze. Tuttavia, rimangono significativi ostacoli nell'individuare criteri di adattamento ottimali e strategie di addestramento attraverso varie configurazioni di dati e modelli. Per affrontare tali sfide, presentiamo FINDAP, un'indagine sistematica e dettagliata sul post-addestramento adattivo di LLM per il dominio finanziario. Il nostro approccio inizia identificando le capacità fondamentali richieste per il dominio di interesse e progettando una suite di valutazione completa allineata a tali esigenze. Successivamente, analizziamo l'efficacia delle fasi chiave del post-addestramento, inclusi il preaddestramento continuo, il raffinamento delle istruzioni e l'allineamento delle preferenze. Sulla base di tali approfondimenti, proponiamo una ricetta di addestramento efficace incentrata su un nuovo metodo di distillazione dei dati di preferenza, che sfrutta segnali di processo da un modello di ricompensa generativo. Il modello risultante, Llama-Fin, raggiunge prestazioni all'avanguardia in una vasta gamma di compiti finanziari. La nostra analisi evidenzia anche come ciascuna fase di post-addestramento contribuisca a capacità distinte, rivelando sfide specifiche e soluzioni efficaci, fornendo preziose intuizioni per l'adattamento di dominio di LLM. Pagina del progetto: https://github.com/SalesforceAIResearch/FinDap

English

Domain-adaptive post-training of large language models (LLMs) has emerged as a promising approach for specialized domains such as medicine and finance. However, significant challenges remain in identifying optimal adaptation criteria and training strategies across varying data and model configurations. To address these challenges, we introduce FINDAP, a systematic and fine-grained investigation into domain-adaptive post-training of LLMs for the finance domain. Our approach begins by identifying the core capabilities required for the target domain and designing a comprehensive evaluation suite aligned with these needs. We then analyze the effectiveness of key post-training stages, including continual pretraining, instruction tuning, and preference alignment. Building on these insights, we propose an effective training recipe centered on a novel preference data distillation method, which leverages process signals from a generative reward model. The resulting model, Llama-Fin, achieves state-of-the-art performance across a wide range of financial tasks. Our analysis also highlights how each post-training stage contributes to distinct capabilities, uncovering specific challenges and effective solutions, providing valuable insights for domain adaptation of LLMs. Project page: https://github.com/SalesforceAIResearch/FinDap