Entmystifizierung der domänenadaptiven Nachschulung für Finanz-LLMs.

Demystifying Domain-adaptive Post-training for Financial LLMs

January 9, 2025

Autoren: Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty

cs.AI

Zusammenfassung

Die domänenadaptive Nachschulung großer Sprachmodelle (LLMs) hat sich als vielversprechender Ansatz für spezialisierte Bereiche wie Medizin und Finanzen herausgestellt. Es bestehen jedoch weiterhin bedeutende Herausforderungen bei der Identifizierung optimaler Anpassungskriterien und Schulungsstrategien für unterschiedliche Daten- und Modellkonfigurationen. Um diesen Herausforderungen zu begegnen, stellen wir FINDAP vor, eine systematische und fein abgestimmte Untersuchung zur domänenadaptiven Nachschulung von LLMs für den Finanzbereich. Unser Ansatz beginnt mit der Identifizierung der Kernfähigkeiten, die für die Ziel-Domäne erforderlich sind, und der Gestaltung einer umfassenden Evaluierungssuite, die auf diese Anforderungen abgestimmt ist. Anschließend analysieren wir die Wirksamkeit der wichtigsten Nachschulungsphasen, einschließlich kontinuierlicher Vorschulung, Anpassung der Anweisungen und Ausrichtung der Präferenzen. Basierend auf diesen Erkenntnissen schlagen wir ein effektives Schulungsrezept vor, das auf einer neuartigen Methode zur Destillation von Präferenzdaten beruht und Prozesssignale aus einem generativen Belohnungsmodell nutzt. Das resultierende Modell, Llama-Fin, erzielt Spitzenleistungen bei einer Vielzahl von Finanzaufgaben. Unsere Analyse hebt auch hervor, wie jede Nachschulungsphase zu unterschiedlichen Fähigkeiten beiträgt, spezifische Herausforderungen aufdeckt und effektive Lösungen bietet, die wertvolle Einblicke für die Domänenanpassung von LLMs liefern. Projektseite: https://github.com/SalesforceAIResearch/FinDap

English

Domain-adaptive post-training of large language models (LLMs) has emerged as a promising approach for specialized domains such as medicine and finance. However, significant challenges remain in identifying optimal adaptation criteria and training strategies across varying data and model configurations. To address these challenges, we introduce FINDAP, a systematic and fine-grained investigation into domain-adaptive post-training of LLMs for the finance domain. Our approach begins by identifying the core capabilities required for the target domain and designing a comprehensive evaluation suite aligned with these needs. We then analyze the effectiveness of key post-training stages, including continual pretraining, instruction tuning, and preference alignment. Building on these insights, we propose an effective training recipe centered on a novel preference data distillation method, which leverages process signals from a generative reward model. The resulting model, Llama-Fin, achieves state-of-the-art performance across a wide range of financial tasks. Our analysis also highlights how each post-training stage contributes to distinct capabilities, uncovering specific challenges and effective solutions, providing valuable insights for domain adaptation of LLMs. Project page: https://github.com/SalesforceAIResearch/FinDap