Xmodel-1.5: Un LLM multilingue su scala di 1 miliardo

Xmodel-1.5: An 1B-scale Multilingual LLM

November 15, 2024

Autori: Wang Qun, Liu Yang, Lin Qingquan, Jiang Ling

cs.AI

Abstract

Presentiamo Xmodel-1.5, un nuovo modello grande multilingue con 1 miliardo di parametri preaddestrato su circa 2 trilioni di token. Il modello mostra elevate prestazioni in diverse lingue, con risultati particolarmente significativi in Thailandese, Arabo e Francese, insieme alla sua efficacia in Cinese e Inglese. Inoltre, contribuiamo alla comunità di ricerca rilasciando un set di dati di valutazione in Thailandese, che include centinaia di domande annotate da studenti della Scuola di Innovazione Integrata dell'Università Chulalongkorn. Pur riconoscendo che i risultati sono promettenti, siamo consapevoli che vi è ancora spazio per miglioramenti. Speriamo che questo lavoro faccia progredire gli sforzi in corso nella ricerca sull'IA multilingue e favorisca una migliore comprensione interlinguistica in varie attività di elaborazione del linguaggio naturale. I nostri modelli e codici sono pubblicamente disponibili su GitHub all'indirizzo https://github.com/XiaoduoAILab/XmodelLM.

English

We introduce Xmodel-1.5, a novel 1-billion-parameter multilingual large model pretrained on approximately 2 trillion tokens. The model demonstrates strong performance across several languages, with particularly notable results in Thai, Arabic, and French, alongside its effectiveness in Chinese and English. In addition, we contribute to the research community by releasing a Thai evaluation dataset, which includes hundreds of questions annotated by students from Chulalongkorn University's School of Integrated Innovation. While the results are promising, we acknowledge that there is still room for improvement. We hope this work advances ongoing efforts in multilingual AI research and promotes better cross-linguistic understanding in various natural language processing tasks. Our models and code are publicly available on GitHub at https://github.com/XiaoduoAILab/XmodelLM.