Fin-R1: Ein großes Sprachmodell für finanzielles Denken durch bestärkendes Lernen

Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning

March 20, 2025

Autoren: Zhaowei Liu, Xin Guo, Fangqi Lou, Lingfeng Zeng, Jinyi Niu, Zixuan Wang, Jiajie Xu, Weige Cai, Ziwei Yang, Xueqian Zhao, Chao Li, Sheng Xu, Dezhi Chen, Yun Chen, Zuo Bai, Liwen Zhang

cs.AI

Zusammenfassung

Reasoning Large Language Models entwickeln sich rasant in verschiedenen Domänen. Ihre Fähigkeiten zur Bewältigung komplexer finanzieller Aufgaben bedürfen jedoch noch einer eingehenden Untersuchung. In diesem Artikel stellen wir Fin-R1 vor, einen Reasoning Large Language Model, der speziell für den Finanzsektor entwickelt wurde. Fin-R1 basiert auf einer zweistufigen Architektur und nutzt einen Finanzreasoning-Datensatz, der auf der Grundlage von DeepSeek-R1 destilliert und verarbeitet wurde. Durch überwachtes Fein-Tuning (Supervised Fine-Tuning, SFT) und Reinforcement Learning (RL) zeigt Fin-R1 eine Leistung, die nahe an DeepSeek-R1 heranreicht, bei einer Parametergröße von 7 Milliarden, über eine Reihe von Finanzreasoning-Aufgaben hinweg. Es erreicht den State-of-the-Art (SOTA) in den Aufgaben FinQA und ConvFinQA unter den in unserer Bewertung betrachteten LLMs und übertrifft auch größere Modelle in anderen Aufgaben. Fin-R1 demonstriert starke Reasoning- und Entscheidungsfähigkeiten und bietet Lösungen für verschiedene Probleme, die im Finanzbereich auftreten. Unser Code ist verfügbar unter https://github.com/SUFE-AIFLM-Lab/Fin-R1.

English

Reasoning large language models are rapidly evolving across various domains. However, their capabilities in handling complex financial tasks still require in-depth exploration. In this paper, we introduce Fin-R1, a reasoning large language model specifically designed for the financial sector. Fin-R1 is built using a two-stage architecture, leveraging a financial reasoning dataset distilled and processed based on DeepSeek-R1. Through supervised fine-tuning (SFT) and reinforcement learning (RL) training, it demonstrates performance close to DeepSeek-R1 with a parameter size of 7 billion across a range of financial reasoning tasks. It achieves the state-of-the-art (SOTA) in the FinQA and ConvFinQA tasks between those LLMs in our evaluation, surpassing larger models in other tasks as well. Fin-R1 showcases strong reasoning and decision-making capabilities, providing solutions to various problems encountered in the financial domain. Our code is available at https://github.com/SUFE-AIFLM-Lab/Fin-R1.