Valutazione delle prestazioni del tokenizzatore dei grandi modelli linguistici tra le Lingue Ufficiali dell'India.

Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages

November 19, 2024

Autori: S. Tamang, D. J. Bora

cs.AI

Abstract

I Large Language Models (LLM) basati su architetture transformer hanno rivoluzionato una varietà di settori, con la tokenizzazione che svolge un ruolo fondamentale nelle fasi di pre-elaborazione e raffinamento. Nei modelli multilingue, in particolare quelli progettati per le lingue indiane, una tokenizzazione efficace è cruciale per ottimizzare le prestazioni. Questo articolo presenta una valutazione esaustiva dei tokenizzatori utilizzati da 12 LLM in tutte e 22 lingue ufficiali dell'India, con un focus sull'efficienza dei loro processi di tokenizzazione. Abbiamo utilizzato la Lunghezza Sequenza Normalizzata (NSL) come metrica chiave nella nostra analisi. I nostri risultati rivelano che il tokenizzatore SUTRA supera tutti gli altri modelli, compresi diversi modelli specifici per le lingue indiane, eccellendo in 14 lingue. Tra le osservazioni degne di nota vi sono la gestione superiore delle lingue indiane da parte del tokenizzatore SUTRA, il progresso del GPT-4o rispetto al suo predecessore GPT-4 nel trattare le lingue indiane e le prestazioni limitate di Project Indus in alcune lingue. Questo studio sottolinea l'importanza critica dello sviluppo di strategie di tokenizzazione mirate per modelli multilingue e incentrati sulle lingue indiane, gettando le basi per futuri miglioramenti nel design dei tokenizzatori per migliorare la copertura linguistica e l'efficienza del modello.

English

Large Language Models (LLMs) based on transformer architectures have revolutionized a variety of domains, with tokenization playing a pivotal role in their pre-processing and fine-tuning stages. In multilingual models, particularly those tailored for Indic languages, effective tokenization is crucial for optimizing performance. This paper presents a comprehensive evaluation of tokenizers used by 12 LLMs across all 22 official languages of India, with a focus on comparing the efficiency of their tokenization processes. We employed the Normalized Sequence Length (NSL) as a key metric in our analysis. Our findings reveal that the SUTRA tokenizer outperforms all other models, including several Indic-specific models, excelling in 14 languages. Notable insights include the SUTRA tokenizer's superior handling of Indic languages, GPT-4o's advancement over its predecessor GPT-4 in processing Indian languages, and the limited performance of Project Indus in certain languages. This study underscores the critical importance of developing targeted tokenization strategies for multilingual and Indic-centric models, laying the groundwork for future improvements in tokenizer design to enhance linguistic coverage and model efficiency.