Xmodel-1.5: Een meertalig LLM op schaal van 1B

Xmodel-1.5: An 1B-scale Multilingual LLM

November 15, 2024

Auteurs: Wang Qun, Liu Yang, Lin Qingquan, Jiang Ling

cs.AI

Samenvatting

We introduceren Xmodel-1.5, een nieuw 1-miljard-parameter meertalig groot model dat is voorgetraind op ongeveer 2 biljoen tokens. Het model toont sterke prestaties in verschillende talen, met name opmerkelijke resultaten in het Thais, Arabisch en Frans, naast zijn effectiviteit in het Chinees en Engels. Daarnaast dragen we bij aan de onderzoeksgemeenschap door een Thaise evaluatiedataset vrij te geven, die honderden vragen bevat die zijn geannoteerd door studenten van de School of Integrated Innovation van de Chulalongkorn Universiteit. Hoewel de resultaten veelbelovend zijn, erkennen we dat er nog ruimte is voor verbetering. We hopen dat dit werk bijdraagt aan lopende inspanningen in onderzoek naar meertalige AI en een beter interlinguïstisch begrip bevordert in verschillende taken voor natuurlijke taalverwerking. Onze modellen en code zijn openbaar beschikbaar op GitHub op https://github.com/XiaoduoAILab/XmodelLM.

English

We introduce Xmodel-1.5, a novel 1-billion-parameter multilingual large model pretrained on approximately 2 trillion tokens. The model demonstrates strong performance across several languages, with particularly notable results in Thai, Arabic, and French, alongside its effectiveness in Chinese and English. In addition, we contribute to the research community by releasing a Thai evaluation dataset, which includes hundreds of questions annotated by students from Chulalongkorn University's School of Integrated Innovation. While the results are promising, we acknowledge that there is still room for improvement. We hope this work advances ongoing efforts in multilingual AI research and promotes better cross-linguistic understanding in various natural language processing tasks. Our models and code are publicly available on GitHub at https://github.com/XiaoduoAILab/XmodelLM.