Xmodell-1.5: Ein mehrsprachiges LLM im Maßstab von 1B

Xmodel-1.5: An 1B-scale Multilingual LLM

November 15, 2024

Autoren: Wang Qun, Liu Yang, Lin Qingquan, Jiang Ling

cs.AI

Zusammenfassung

Wir stellen Xmodel-1.5 vor, ein neuartiges mehrsprachiges großes Modell mit einer Milliarde Parametern, das auf etwa 2 Billionen Tokens vortrainiert wurde. Das Modell zeigt starke Leistungen in mehreren Sprachen, insbesondere in Thai, Arabisch und Französisch, neben seiner Wirksamkeit in Chinesisch und Englisch. Darüber hinaus tragen wir zur Forschungsgemeinschaft bei, indem wir einen Thai-Evaluierungsdatensatz veröffentlichen, der Hunderte von Fragen enthält, die von Studierenden der School of Integrated Innovation der Chulalongkorn University annotiert wurden. Obwohl die Ergebnisse vielversprechend sind, erkennen wir an, dass es noch Verbesserungspotenzial gibt. Wir hoffen, dass diese Arbeit die laufenden Bemühungen in der mehrsprachigen KI-Forschung vorantreibt und ein besseres interlinguales Verständnis in verschiedenen natürlichsprachlichen Verarbeitungsaufgaben fördert. Unsere Modelle und der Code sind öffentlich auf GitHub unter https://github.com/XiaoduoAILab/XmodelLM verfügbar.

English

We introduce Xmodel-1.5, a novel 1-billion-parameter multilingual large model pretrained on approximately 2 trillion tokens. The model demonstrates strong performance across several languages, with particularly notable results in Thai, Arabic, and French, alongside its effectiveness in Chinese and English. In addition, we contribute to the research community by releasing a Thai evaluation dataset, which includes hundreds of questions annotated by students from Chulalongkorn University's School of Integrated Innovation. While the results are promising, we acknowledge that there is still room for improvement. We hope this work advances ongoing efforts in multilingual AI research and promotes better cross-linguistic understanding in various natural language processing tasks. Our models and code are publicly available on GitHub at https://github.com/XiaoduoAILab/XmodelLM.