Warum reicht die effektive Kontextlänge von LLMs nicht aus?

Why Does the Effective Context Length of LLMs Fall Short?

October 24, 2024

Autoren: Chenxin An, Jun Zhang, Ming Zhong, Lei Li, Shansan Gong, Yao Luo, Jingjing Xu, Lingpeng Kong

cs.AI

Zusammenfassung

Fortschritte im verteilten Training und effiziente Aufmerksamkeitsmechanismen haben die Kontextfenstergrößen großer Sprachmodelle (LLMs) signifikant erweitert. Allerdings zeigt aktuelle Arbeit, dass die effektiven Kontextlängen von Open-Source LLMs oft begrenzt sind und in der Regel nicht mehr als die Hälfte ihrer Trainingslängen erreichen. In dieser Arbeit führen wir diese Beschränkung auf die linkssteile Häufigkeitsverteilung relativer Positionen zurück, die sich in den Vor- und Nachtrainingsphasen von LLMs bildet und ihre Fähigkeit beeinträchtigt, entfernte Informationen effektiv zu sammeln. Um diese Herausforderung anzugehen, führen wir ShifTed Rotray Position Embedding (STRING) ein. STRING verschiebt gut trainierte Positionen, um die ursprünglich ineffektiven Positionen während der Inferenz zu überschreiben und die Leistung innerhalb ihrer bestehenden Trainingslängen zu verbessern. Experimentelle Ergebnisse zeigen, dass STRING ohne zusätzliches Training die Leistung der neuesten groß angelegten Modelle wie Llama3.1 70B und Qwen2 72B auf beliebten Langkontext-Benchmarks RULER und InfiniteBench dramatisch um über 10 Punkte verbessert und neue State-of-the-Art-Ergebnisse für Open-Source LLMs etabliert. Im Vergleich zu kommerziellen Modellen erzielt Llama 3.1 70B mit STRING sogar eine bessere Leistung als GPT-4-128K und übertrifft deutlich Claude 2 und Kimi-chat.

English

Advancements in distributed training and efficient attention mechanisms have significantly expanded the context window sizes of large language models (LLMs). However, recent work reveals that the effective context lengths of open-source LLMs often fall short, typically not exceeding half of their training lengths. In this work, we attribute this limitation to the left-skewed frequency distribution of relative positions formed in LLMs pretraining and post-training stages, which impedes their ability to effectively gather distant information. To address this challenge, we introduce ShifTed Rotray position embeddING (STRING). STRING shifts well-trained positions to overwrite the original ineffective positions during inference, enhancing performance within their existing training lengths. Experimental results show that without additional training, STRING dramatically improves the performance of the latest large-scale models, such as Llama3.1 70B and Qwen2 72B, by over 10 points on popular long-context benchmarks RULER and InfiniteBench, establishing new state-of-the-art results for open-source LLMs. Compared to commercial models, Llama 3.1 70B with \method even achieves better performance than GPT-4-128K and clearly surpasses Claude 2 and Kimi-chat.