Pietra di Paragone d'Oro: un Benchmark Bilingue Completo per Valutare i Modelli Linguistici Finanziari di Grandi Dimensioni

Golden Touchstone: A Comprehensive Bilingual Benchmark for Evaluating Financial Large Language Models

November 9, 2024

Autori: Xiaojun Wu, Junxi Liu, Huanyi Su, Zhouchi Lin, Yiyan Qi, Chengjin Xu, Jiajun Su, Jiajie Zhong, Fuwei Wang, Saizhuo Wang, Fengrui Hua, Jia Li, Jian Guo

cs.AI

Abstract

Con l'aumentare della diffusione dei grandi modelli linguistici nel settore finanziario, c'è un urgente bisogno di un metodo standardizzato per valutarne in modo completo le prestazioni. Tuttavia, i benchmark finanziari esistenti spesso soffrono di una limitata copertura linguistica e di compiti, nonché di sfide come dataset di bassa qualità e scarsa adattabilità per la valutazione dei LLM. Per affrontare tali limitazioni, proponiamo "Golden Touchstone", il primo completo benchmark bilingue per i LLM finanziari, che incorpora dataset rappresentativi sia in cinese che in inglese su otto principali compiti di NLP finanziario. Sviluppato da un'ampia raccolta di dati open source e dalle esigenze specifiche dell'industria, questo benchmark include una varietà di compiti finanziari mirati a valutare approfonditamente le capacità di comprensione e generazione del linguaggio dei modelli. Attraverso un'analisi comparativa dei principali modelli sul benchmark, come GPT-4o Llama3, FinGPT e FinMA, riveliamo i loro punti di forza e le limitazioni nel trattare informazioni finanziarie complesse. Inoltre, abbiamo reso open source Touchstone-GPT, un LLM finanziario addestrato attraverso un continuo pre-addestramento e sintonizzazione istruita finanziariamente, che dimostra ottime prestazioni sul benchmark bilingue ma ha comunque limitazioni in compiti specifici. Questa ricerca fornisce non solo ai grandi modelli linguistici finanziari uno strumento di valutazione pratico, ma guida anche lo sviluppo e l'ottimizzazione della ricerca futura. Il codice sorgente per Golden Touchstone e i pesi del modello di Touchstone-GPT sono stati resi pubblicamente disponibili su https://github.com/IDEA-FinAI/Golden-Touchstone, contribuendo all'evoluzione in corso dei FinLLM e promuovendo ulteriori ricerche in questa area critica.

English

As large language models become increasingly prevalent in the financial sector, there is a pressing need for a standardized method to comprehensively assess their performance. However, existing finance benchmarks often suffer from limited language and task coverage, as well as challenges such as low-quality datasets and inadequate adaptability for LLM evaluation. To address these limitations, we propose "Golden Touchstone", the first comprehensive bilingual benchmark for financial LLMs, which incorporates representative datasets from both Chinese and English across eight core financial NLP tasks. Developed from extensive open source data collection and industry-specific demands, this benchmark includes a variety of financial tasks aimed at thoroughly assessing models' language understanding and generation capabilities. Through comparative analysis of major models on the benchmark, such as GPT-4o Llama3, FinGPT and FinMA, we reveal their strengths and limitations in processing complex financial information. Additionally, we open-sourced Touchstone-GPT, a financial LLM trained through continual pre-training and financial instruction tuning, which demonstrates strong performance on the bilingual benchmark but still has limitations in specific tasks.This research not only provides the financial large language models with a practical evaluation tool but also guides the development and optimization of future research. The source code for Golden Touchstone and model weight of Touchstone-GPT have been made publicly available at https://github.com/IDEA-FinAI/Golden-Touchstone, contributing to the ongoing evolution of FinLLMs and fostering further research in this critical area.