Plutus: Тестирование крупных языковых моделей в условиях ограниченных ресурсов для греческого финансового сектора

Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance

February 26, 2025

Авторы: Xueqing Peng, Triantafillos Papadopoulos, Efstathia Soufleri, Polydoros Giannouris, Ruoyu Xiang, Yan Wang, Lingfei Qian, Jimin Huang, Qianqian Xie, Sophia Ananiadou

cs.AI

Аннотация

Несмотря на ключевую роль Греции в мировой экономике, крупные языковые модели (LLM) остаются недостаточно изученными в контексте греческих финансов из-за лингвистической сложности греческого языка и нехватки специализированных наборов данных. Предыдущие усилия в области многоязыковой обработки естественного языка (NLP) для финансов выявили значительные различия в производительности, однако до сих пор не было разработано специализированных эталонов для греческих финансов или греко-ориентированных финансовых LLM. Чтобы устранить этот пробел, мы представляем Plutus-ben — первый эталон для оценки греческих финансовых моделей, и Plutus-8B — первую греческую финансовую LLM, дообученную на греческих доменно-специфических данных. Plutus-ben охватывает пять ключевых задач финансового NLP на греческом языке: распознавание числовых и текстовых именованных сущностей, ответы на вопросы, абстрактное суммирование и классификация тем, что способствует систематической и воспроизводимой оценке LLM. Для поддержки этих задач мы представляем три новых высококачественных набора данных по греческим финансам, тщательно аннотированных экспертами — носителями греческого языка, дополненных двумя существующими ресурсами. Наше всестороннее тестирование 22 LLM на Plutus-ben показывает, что греческий финансовый NLP остается сложной задачей из-за лингвистической сложности, доменно-специфической терминологии и пробелов в финансовом мышлении. Эти результаты подчеркивают ограничения кросс-лингвального переноса, необходимость финансовой экспертизы в моделях, обученных на греческих данных, и трудности адаптации финансовых LLM к греческому тексту. Мы публикуем Plutus-ben, Plutus-8B и все связанные наборы данных в открытом доступе, чтобы способствовать воспроизводимым исследованиям и продвижению греческого финансового NLP, способствуя более широкой многоязыковой инклюзивности в финансах.

English

Despite Greece's pivotal role in the global economy, large language models (LLMs) remain underexplored for Greek financial context due to the linguistic complexity of Greek and the scarcity of domain-specific datasets. Previous efforts in multilingual financial natural language processing (NLP) have exposed considerable performance disparities, yet no dedicated Greek financial benchmarks or Greek-specific financial LLMs have been developed until now. To bridge this gap, we introduce Plutus-ben, the first Greek Financial Evaluation Benchmark, and Plutus-8B, the pioneering Greek Financial LLM, fine-tuned with Greek domain-specific data. Plutus-ben addresses five core financial NLP tasks in Greek: numeric and textual named entity recognition, question answering, abstractive summarization, and topic classification, thereby facilitating systematic and reproducible LLM assessments. To underpin these tasks, we present three novel, high-quality Greek financial datasets, thoroughly annotated by expert native Greek speakers, augmented by two existing resources. Our comprehensive evaluation of 22 LLMs on Plutus-ben reveals that Greek financial NLP remains challenging due to linguistic complexity, domain-specific terminology, and financial reasoning gaps. These findings underscore the limitations of cross-lingual transfer, the necessity for financial expertise in Greek-trained models, and the challenges of adapting financial LLMs to Greek text. We release Plutus-ben, Plutus-8B, and all associated datasets publicly to promote reproducible research and advance Greek financial NLP, fostering broader multilingual inclusivity in finance.