Goldene Touchstone: Ein umfassender zweisprachiger Maßstab zur Bewertung von Finanz-Large-Language-Modellen

Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models

November 9, 2024

Autoren: Xiaojun Wu, Junxi Liu, Huanyi Su, Zhouchi Lin, Yiyan Qi, Chengjin Xu, Jiajun Su, Jiajie Zhong, Fuwei Wang, Saizhuo Wang, Fengrui Hua, Jia Li, Jian Guo

cs.AI

Zusammenfassung

Mit dem zunehmenden Einsatz großer Sprachmodelle im Finanzsektor besteht ein dringender Bedarf an einer standardisierten Methode zur umfassenden Bewertung ihrer Leistung. Bestehende Finanz-Benchmarks leiden jedoch oft unter begrenzter Sprach- und Aufgabenabdeckung sowie Herausforderungen wie Datensätzen von geringer Qualität und unzureichender Anpassungsfähigkeit für die Bewertung von LLMs. Um diese Einschränkungen zu adressieren, schlagen wir "Golden Touchstone" vor, den ersten umfassenden zweisprachigen Benchmark für Finanz-LLMs, der repräsentative Datensätze aus dem Chinesischen und Englischen für acht Kernfinanz-NLP-Aufgaben umfasst. Entwickelt aus umfangreicher Open-Source-Datensammlung und branchenspezifischen Anforderungen, beinhaltet dieser Benchmark eine Vielzahl von Finanzaufgaben, die darauf abzielen, die Sprachverständnis- und Generierungsfähigkeiten von Modellen gründlich zu bewerten. Durch den Vergleich von führenden Modellen auf dem Benchmark, wie GPT-4o Llama3, FinGPT und FinMA, zeigen wir deren Stärken und Schwächen bei der Verarbeitung komplexer Finanzinformationen auf. Zusätzlich haben wir Touchstone-GPT als Finanz-LLM mit kontinuierlichem Vortraining und Feinabstimmung auf finanzielle Anweisungen als Open-Source bereitgestellt, der eine starke Leistung auf dem zweisprachigen Benchmark zeigt, aber dennoch Einschränkungen in spezifischen Aufgaben aufweist. Diese Forschung bietet nicht nur den großen Finanz-Sprachmodellen ein praktisches Bewertungsinstrument, sondern leitet auch die Entwicklung und Optimierung zukünftiger Forschung an. Der Quellcode für Golden Touchstone und die Modellgewichte von Touchstone-GPT sind öffentlich unter https://github.com/IDEA-FinAI/Golden-Touchstone verfügbar und tragen zur kontinuierlichen Evolution von FinLLMs bei und fördern weitere Forschung in diesem wichtigen Bereich.

English

As large language models become increasingly prevalent in the financial sector, there is a pressing need for a standardized method to comprehensively assess their performance. However, existing finance benchmarks often suffer from limited language and task coverage, as well as challenges such as low-quality datasets and inadequate adaptability for LLM evaluation. To address these limitations, we propose "Golden Touchstone", the first comprehensive bilingual benchmark for financial LLMs, which incorporates representative datasets from both Chinese and English across eight core financial NLP tasks. Developed from extensive open source data collection and industry-specific demands, this benchmark includes a variety of financial tasks aimed at thoroughly assessing models' language understanding and generation capabilities. Through comparative analysis of major models on the benchmark, such as GPT-4o Llama3, FinGPT and FinMA, we reveal their strengths and limitations in processing complex financial information. Additionally, we open-sourced Touchstone-GPT, a financial LLM trained through continual pre-training and financial instruction tuning, which demonstrates strong performance on the bilingual benchmark but still has limitations in specific tasks.This research not only provides the financial large language models with a practical evaluation tool but also guides the development and optimization of future research. The source code for Golden Touchstone and model weight of Touchstone-GPT have been made publicly available at https://github.com/IDEA-FinAI/Golden-Touchstone, contributing to the ongoing evolution of FinLLMs and fostering further research in this critical area.