Die Bewertung der Tokenizer-Leistung großer Sprachmodelle in den offiziellen indischen Sprachen.

Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages

November 19, 2024

Autoren: S. Tamang, D. J. Bora

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) auf Basis von Transformer-Architekturen haben eine Vielzahl von Bereichen revolutioniert, wobei die Tokenisierung eine entscheidende Rolle in ihren Vorverarbeitungs- und Feinabstimmungsphasen spielt. Bei mehrsprachigen Modellen, insbesondere solchen, die für Indische Sprachen maßgeschneidert sind, ist eine effektive Tokenisierung entscheidend für die Optimierung der Leistung. Dieser Artikel präsentiert eine umfassende Bewertung der Tokenizer, die von 12 LLMs in allen 22 offiziellen Sprachen Indiens verwendet werden, wobei der Schwerpunkt auf dem Vergleich der Effizienz ihrer Tokenisierungsprozesse liegt. Wir haben die Normalisierte Sequenzlänge (NSL) als wichtige Metrik in unserer Analyse verwendet. Unsere Ergebnisse zeigen, dass der SUTRA-Tokenizer alle anderen Modelle übertrifft, einschließlich mehrerer Indisch-spezifischer Modelle, und in 14 Sprachen herausragt. Bemerkenswerte Erkenntnisse umfassen die überlegene Handhabung von Indischen Sprachen durch den SUTRA-Tokenizer, den Fortschritt von GPT-4o gegenüber seinem Vorgänger GPT-4 bei der Verarbeitung Indischer Sprachen und die begrenzte Leistung von Project Indus in bestimmten Sprachen. Diese Studie unterstreicht die entscheidende Bedeutung der Entwicklung zielgerichteter Tokenisierungsstrategien für mehrsprachige und Indisch-zentrierte Modelle und legt den Grundstein für zukünftige Verbesserungen im Design von Tokenizern, um die sprachliche Abdeckung und die Modelleffizienz zu verbessern.

English

Large Language Models (LLMs) based on transformer architectures have revolutionized a variety of domains, with tokenization playing a pivotal role in their pre-processing and fine-tuning stages. In multilingual models, particularly those tailored for Indic languages, effective tokenization is crucial for optimizing performance. This paper presents a comprehensive evaluation of tokenizers used by 12 LLMs across all 22 official languages of India, with a focus on comparing the efficiency of their tokenization processes. We employed the Normalized Sequence Length (NSL) as a key metric in our analysis. Our findings reveal that the SUTRA tokenizer outperforms all other models, including several Indic-specific models, excelling in 14 languages. Notable insights include the SUTRA tokenizer's superior handling of Indic languages, GPT-4o's advancement over its predecessor GPT-4 in processing Indian languages, and the limited performance of Project Indus in certain languages. This study underscores the critical importance of developing targeted tokenization strategies for multilingual and Indic-centric models, laying the groundwork for future improvements in tokenizer design to enhance linguistic coverage and model efficiency.