Waarom schiet de effectieve contextlengte van LLM's tekort?

Why Does the Effective Context Length of LLMs Fall Short?

October 24, 2024

Auteurs: Chenxin An, Jun Zhang, Ming Zhong, Lei Li, Shansan Gong, Yao Luo, Jingjing Xu, Lingpeng Kong

cs.AI

Samenvatting

Vorderingen in gedistribueerde training en efficiënte aandachtsmechanismen hebben aanzienlijk de contextvenstergroottes van grote taalmodellen (LLM's) vergroot. Recent werk onthult echter dat de effectieve contextlengtes van open-source LLM's vaak tekortschieten, meestal niet meer dan de helft van hun trainingslengtes. In dit werk schrijven we deze beperking toe aan de links-scheve frequentieverdeling van relatieve posities gevormd in LLM's pretraining- en post-trainingfasen, wat hun vermogen belemmert om effectief verre informatie te verzamelen. Om deze uitdaging aan te gaan, introduceren we ShifTed Rotray position embeddING (STRING). STRING verplaatst goed getrainde posities om de oorspronkelijke ineffectieve posities te overschrijven tijdens inferentie, waardoor de prestaties binnen hun bestaande trainingslengtes worden verbeterd. Experimentele resultaten tonen aan dat STRING de prestaties van de nieuwste grootschalige modellen, zoals Llama3.1 70B en Qwen2 72B, aanzienlijk verbetert met meer dan 10 punten op populaire lange-context benchmarks RULER en InfiniteBench, waardoor nieuwe state-of-the-art resultaten worden behaald voor open-source LLM's. Vergeleken met commerciële modellen behaalt Llama 3.1 70B met \method zelfs betere prestaties dan GPT-4-128K en overtreft duidelijk Claude 2 en Kimi-chat.

English

Advancements in distributed training and efficient attention mechanisms have significantly expanded the context window sizes of large language models (LLMs). However, recent work reveals that the effective context lengths of open-source LLMs often fall short, typically not exceeding half of their training lengths. In this work, we attribute this limitation to the left-skewed frequency distribution of relative positions formed in LLMs pretraining and post-training stages, which impedes their ability to effectively gather distant information. To address this challenge, we introduce ShifTed Rotray position embeddING (STRING). STRING shifts well-trained positions to overwrite the original ineffective positions during inference, enhancing performance within their existing training lengths. Experimental results show that without additional training, STRING dramatically improves the performance of the latest large-scale models, such as Llama3.1 70B and Qwen2 72B, by over 10 points on popular long-context benchmarks RULER and InfiniteBench, establishing new state-of-the-art results for open-source LLMs. Compared to commercial models, Llama 3.1 70B with \method even achieves better performance than GPT-4-128K and clearly surpasses Claude 2 and Kimi-chat.