Gouden Touchstone: Een uitgebreide tweetalige benchmark voor het evalueren van financiële grote taalmodellen

Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models

November 9, 2024

Auteurs: Xiaojun Wu, Junxi Liu, Huanyi Su, Zhouchi Lin, Yiyan Qi, Chengjin Xu, Jiajun Su, Jiajie Zhong, Fuwei Wang, Saizhuo Wang, Fengrui Hua, Jia Li, Jian Guo

cs.AI

Samenvatting

Nu grote taalmodellen steeds meer voorkomen in de financiële sector, is er een dringende behoefte aan een gestandaardiseerde methode om hun prestaties uitgebreid te beoordelen. Bestaande financiële benchmarks hebben echter vaak te maken met beperkte taal- en taakdekking, evenals uitdagingen zoals datasets van lage kwaliteit en onvoldoende aanpasbaarheid voor evaluatie van taalmodellen op financieel gebied. Om deze beperkingen aan te pakken, stellen we "Golden Touchstone" voor, de eerste uitgebreide tweetalige benchmark voor financiële taalmodellen, die representatieve datasets uit zowel het Chinees als het Engels omvat voor acht kern-NLP-taken op financieel gebied. Ontwikkeld op basis van uitgebreide open source gegevensverzameling en sector-specifieke eisen, omvat deze benchmark een verscheidenheid aan financiële taken die gericht zijn op een grondige beoordeling van de taalbegrip- en generatiecapaciteiten van modellen. Door middel van vergelijkende analyses van belangrijke modellen op de benchmark, zoals GPT-4o Llama3, FinGPT en FinMA, onthullen we hun sterke punten en beperkingen bij het verwerken van complexe financiële informatie. Daarnaast hebben we Touchstone-GPT open source gemaakt, een financieel taalmodel dat is getraind via voortdurende pre-training en afstemming op financiële instructies, dat sterke prestaties laat zien op de tweetalige benchmark maar nog steeds beperkingen heeft bij specifieke taken. Dit onderzoek biedt niet alleen de financiële grote taalmodellen een praktisch evaluatiemiddel, maar leidt ook de ontwikkeling en optimalisatie van toekomstig onderzoek. De broncode voor Golden Touchstone en het modelgewicht van Touchstone-GPT zijn openbaar beschikbaar gesteld op https://github.com/IDEA-FinAI/Golden-Touchstone, wat bijdraagt aan de voortdurende evolutie van FinLLMs en verdere onderzoek in dit cruciale gebied bevordert.

English

As large language models become increasingly prevalent in the financial sector, there is a pressing need for a standardized method to comprehensively assess their performance. However, existing finance benchmarks often suffer from limited language and task coverage, as well as challenges such as low-quality datasets and inadequate adaptability for LLM evaluation. To address these limitations, we propose "Golden Touchstone", the first comprehensive bilingual benchmark for financial LLMs, which incorporates representative datasets from both Chinese and English across eight core financial NLP tasks. Developed from extensive open source data collection and industry-specific demands, this benchmark includes a variety of financial tasks aimed at thoroughly assessing models' language understanding and generation capabilities. Through comparative analysis of major models on the benchmark, such as GPT-4o Llama3, FinGPT and FinMA, we reveal their strengths and limitations in processing complex financial information. Additionally, we open-sourced Touchstone-GPT, a financial LLM trained through continual pre-training and financial instruction tuning, which demonstrates strong performance on the bilingual benchmark but still has limitations in specific tasks.This research not only provides the financial large language models with a practical evaluation tool but also guides the development and optimization of future research. The source code for Golden Touchstone and model weight of Touchstone-GPT have been made publicly available at https://github.com/IDEA-FinAI/Golden-Touchstone, contributing to the ongoing evolution of FinLLMs and fostering further research in this critical area.