Évaluation des performances du tokeniseur des grands modèles de langage à travers les langues officielles indiennes.

Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages

November 19, 2024

Auteurs: S. Tamang, D. J. Bora

cs.AI

Résumé

Les grands modèles de langage (LLM) basés sur des architectures de transformateurs ont révolutionné divers domaines, la tokenisation jouant un rôle essentiel dans leurs étapes de prétraitement et de fine-tuning. Dans les modèles multilingues, en particulier ceux adaptés aux langues indiennes, une tokenisation efficace est cruciale pour optimiser les performances. Cet article présente une évaluation complète des tokeniseurs utilisés par 12 LLM à travers les 22 langues officielles de l'Inde, en mettant l'accent sur la comparaison de l'efficacité de leurs processus de tokenisation. Nous avons utilisé la Longueur de Séquence Normalisée (NSL) comme une mesure clé dans notre analyse. Nos résultats révèlent que le tokeniseur SUTRA surpasse tous les autres modèles, y compris plusieurs modèles spécifiques aux langues indiennes, se démarquant dans 14 langues. Les points saillants incluent la capacité supérieure du tokeniseur SUTRA à gérer les langues indiennes, l'avancée du GPT-4o par rapport à son prédécesseur GPT-4 dans le traitement des langues indiennes, et les performances limitées du projet Indus dans certaines langues. Cette étude souligne l'importance critique du développement de stratégies de tokenisation ciblées pour les modèles multilingues et centrés sur les langues indiennes, posant les bases pour des améliorations futures dans la conception des tokeniseurs afin d'améliorer la couverture linguistique et l'efficacité des modèles.

English

Large Language Models (LLMs) based on transformer architectures have revolutionized a variety of domains, with tokenization playing a pivotal role in their pre-processing and fine-tuning stages. In multilingual models, particularly those tailored for Indic languages, effective tokenization is crucial for optimizing performance. This paper presents a comprehensive evaluation of tokenizers used by 12 LLMs across all 22 official languages of India, with a focus on comparing the efficiency of their tokenization processes. We employed the Normalized Sequence Length (NSL) as a key metric in our analysis. Our findings reveal that the SUTRA tokenizer outperforms all other models, including several Indic-specific models, excelling in 14 languages. Notable insights include the SUTRA tokenizer's superior handling of Indic languages, GPT-4o's advancement over its predecessor GPT-4 in processing Indian languages, and the limited performance of Project Indus in certain languages. This study underscores the critical importance of developing targeted tokenization strategies for multilingual and Indic-centric models, laying the groundwork for future improvements in tokenizer design to enhance linguistic coverage and model efficiency.