Xmodel-1.5 : Un LLM multilingue à l'échelle de 1B

Xmodel-1.5: An 1B-scale Multilingual LLM

November 15, 2024

Auteurs: Wang Qun, Liu Yang, Lin Qingquan, Jiang Ling

cs.AI

Résumé

Nous présentons Xmodel-1.5, un nouveau modèle large multilingue de 1 milliard de paramètres pré-entraîné sur environ 2 billions de jetons. Le modèle démontre de solides performances dans plusieurs langues, avec des résultats particulièrement remarquables en thaïlandais, en arabe et en français, en plus de son efficacité en chinois et en anglais. De plus, nous contribuons à la communauté de recherche en publiant un ensemble de données d'évaluation en thaïlandais, comprenant des centaines de questions annotées par des étudiants de l'École d'Innovation Intégrée de l'Université Chulalongkorn. Bien que les résultats soient prometteurs, nous reconnaissons qu'il reste des possibilités d'amélioration. Nous espérons que ce travail fera progresser les efforts en cours dans la recherche en IA multilingue et favorisera une meilleure compréhension interlinguistique dans diverses tâches de traitement automatique des langues naturelles. Nos modèles et notre code sont disponibles publiquement sur GitHub à l'adresse https://github.com/XiaoduoAILab/XmodelLM.

English

We introduce Xmodel-1.5, a novel 1-billion-parameter multilingual large model pretrained on approximately 2 trillion tokens. The model demonstrates strong performance across several languages, with particularly notable results in Thai, Arabic, and French, alongside its effectiveness in Chinese and English. In addition, we contribute to the research community by releasing a Thai evaluation dataset, which includes hundreds of questions annotated by students from Chulalongkorn University's School of Integrated Innovation. While the results are promising, we acknowledge that there is still room for improvement. We hope this work advances ongoing efforts in multilingual AI research and promotes better cross-linguistic understanding in various natural language processing tasks. Our models and code are publicly available on GitHub at https://github.com/XiaoduoAILab/XmodelLM.