Het evalueren van de prestaties van tokenizers van grote taalmodellen over officiële Indiase talen.

Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages

November 19, 2024

Auteurs: S. Tamang, D. J. Bora

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) gebaseerd op transformer-architecturen hebben verschillende domeinen gerevolutioneerd, waarbij tokenisatie een cruciale rol speelt in hun voorverwerkings- en fijnafstemmingsfasen. In meertalige modellen, met name die zijn afgestemd op Indische talen, is effectieve tokenisatie essentieel voor het optimaliseren van de prestaties. Dit artikel presenteert een uitgebreide evaluatie van tokenizers die worden gebruikt door 12 LLM's in alle 22 officiële talen van India, met een focus op het vergelijken van de efficiëntie van hun tokeniseringsprocessen. We hebben de Genormaliseerde Sequentielengte (NSL) gebruikt als een belangrijke maatstaf in onze analyse. Onze bevindingen tonen aan dat de SUTRA-tokenizer beter presteert dan alle andere modellen, inclusief verschillende Indisch-specifieke modellen, met uitstekende resultaten in 14 talen. Opmerkelijke inzichten zijn onder meer de superieure verwerking van Indische talen door de SUTRA-tokenizer, de vooruitgang van GPT-4o ten opzichte van zijn voorganger GPT-4 in het verwerken van Indiase talen, en de beperkte prestaties van Project Indus in bepaalde talen. Deze studie benadrukt het cruciale belang van het ontwikkelen van gerichte tokeniseringsstrategieën voor meertalige en Indisch-gecentreerde modellen, waarbij de basis wordt gelegd voor toekomstige verbeteringen in het ontwerp van tokenizers om de taalkundige dekking en model efficiëntie te verbeteren.

English

Large Language Models (LLMs) based on transformer architectures have revolutionized a variety of domains, with tokenization playing a pivotal role in their pre-processing and fine-tuning stages. In multilingual models, particularly those tailored for Indic languages, effective tokenization is crucial for optimizing performance. This paper presents a comprehensive evaluation of tokenizers used by 12 LLMs across all 22 official languages of India, with a focus on comparing the efficiency of their tokenization processes. We employed the Normalized Sequence Length (NSL) as a key metric in our analysis. Our findings reveal that the SUTRA tokenizer outperforms all other models, including several Indic-specific models, excelling in 14 languages. Notable insights include the SUTRA tokenizer's superior handling of Indic languages, GPT-4o's advancement over its predecessor GPT-4 in processing Indian languages, and the limited performance of Project Indus in certain languages. This study underscores the critical importance of developing targeted tokenization strategies for multilingual and Indic-centric models, laying the groundwork for future improvements in tokenizer design to enhance linguistic coverage and model efficiency.