Pierre de touche dorée : un banc d'essai bilingue complet pour l'évaluation des grands modèles de langage financiers.

Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models

November 9, 2024

Auteurs: Xiaojun Wu, Junxi Liu, Huanyi Su, Zhouchi Lin, Yiyan Qi, Chengjin Xu, Jiajun Su, Jiajie Zhong, Fuwei Wang, Saizhuo Wang, Fengrui Hua, Jia Li, Jian Guo

cs.AI

Résumé

Avec la prolifération croissante des grands modèles de langage dans le secteur financier, il est urgent de disposer d'une méthode normalisée pour évaluer de manière exhaustive leurs performances. Cependant, les benchmarks financiers existants souffrent souvent d'une couverture linguistique et de tâches limitée, ainsi que de défis tels que des ensembles de données de faible qualité et une adaptabilité insuffisante pour l'évaluation des LLM. Pour remédier à ces limitations, nous proposons "Golden Touchstone", le premier benchmark bilingue complet pour les LLM financiers, qui intègre des ensembles de données représentatifs en chinois et en anglais sur huit tâches NLP financières essentielles. Développé à partir d'une vaste collecte de données open source et des exigences spécifiques de l'industrie, ce benchmark comprend une variété de tâches financières visant à évaluer de manière approfondie la compréhension et la génération de langage des modèles. À travers une analyse comparative des principaux modèles sur le benchmark, tels que GPT-4o Llama3, FinGPT et FinMA, nous révélons leurs forces et leurs limites dans le traitement d'informations financières complexes. De plus, nous avons mis en open source Touchstone-GPT, un LLM financier entraîné par un pré-entraînement continu et un réglage d'instructions financières, qui démontre de bonnes performances sur le benchmark bilingue mais présente encore des limites dans des tâches spécifiques. Cette recherche fournit non seulement aux grands modèles de langage financiers un outil d'évaluation pratique, mais guide également le développement et l'optimisation des futures recherches. Le code source de Golden Touchstone et les poids du modèle de Touchstone-GPT ont été rendus publiquement disponibles sur https://github.com/IDEA-FinAI/Golden-Touchstone, contribuant à l'évolution continue des FinLLMs et favorisant de nouvelles recherches dans ce domaine critique.

English

As large language models become increasingly prevalent in the financial sector, there is a pressing need for a standardized method to comprehensively assess their performance. However, existing finance benchmarks often suffer from limited language and task coverage, as well as challenges such as low-quality datasets and inadequate adaptability for LLM evaluation. To address these limitations, we propose "Golden Touchstone", the first comprehensive bilingual benchmark for financial LLMs, which incorporates representative datasets from both Chinese and English across eight core financial NLP tasks. Developed from extensive open source data collection and industry-specific demands, this benchmark includes a variety of financial tasks aimed at thoroughly assessing models' language understanding and generation capabilities. Through comparative analysis of major models on the benchmark, such as GPT-4o Llama3, FinGPT and FinMA, we reveal their strengths and limitations in processing complex financial information. Additionally, we open-sourced Touchstone-GPT, a financial LLM trained through continual pre-training and financial instruction tuning, which demonstrates strong performance on the bilingual benchmark but still has limitations in specific tasks.This research not only provides the financial large language models with a practical evaluation tool but also guides the development and optimization of future research. The source code for Golden Touchstone and model weight of Touchstone-GPT have been made publicly available at https://github.com/IDEA-FinAI/Golden-Touchstone, contributing to the ongoing evolution of FinLLMs and fostering further research in this critical area.