Pourquoi la longueur de contexte efficace des LLMs est-elle insuffisante ?

Why Does the Effective Context Length of LLMs Fall Short?

October 24, 2024

Auteurs: Chenxin An, Jun Zhang, Ming Zhong, Lei Li, Shansan Gong, Yao Luo, Jingjing Xu, Lingpeng Kong

cs.AI

Résumé

Les avancées dans l'entraînement distribué et les mécanismes d'attention efficaces ont considérablement élargi les tailles de fenêtre de contexte des grands modèles de langage (LLM). Cependant, des travaux récents révèlent que les longueurs de contexte effectives des LLM open-source tombent souvent court, ne dépassant généralement pas la moitié de leurs longueurs d'entraînement. Dans ce travail, nous attribuons cette limitation à la distribution de fréquence biaisée à gauche des positions relatives formées dans les étapes de pré-entraînement et de post-entraînement des LLM, ce qui entrave leur capacité à rassembler efficacement des informations distantes. Pour relever ce défi, nous introduisons l'incorporation de position ShifTed Rotray (STRING). STRING déplace les positions bien entraînées pour écraser les positions originales inefficaces lors de l'inférence, améliorant les performances dans leurs longueurs d'entraînement existantes. Les résultats expérimentaux montrent qu'avec STRING, sans entraînement supplémentaire, les performances des derniers modèles à grande échelle, tels que Llama3.1 70B et Qwen2 72B, s'améliorent de plus de 10 points sur les bancs d'essai de contexte long populaires RULER et InfiniteBench, établissant de nouveaux résultats de pointe pour les LLM open-source. Comparé aux modèles commerciaux, Llama 3.1 70B avec STRING atteint même de meilleures performances que GPT-4-128K et dépasse clairement Claude 2 et Kimi-chat.

English

Advancements in distributed training and efficient attention mechanisms have significantly expanded the context window sizes of large language models (LLMs). However, recent work reveals that the effective context lengths of open-source LLMs often fall short, typically not exceeding half of their training lengths. In this work, we attribute this limitation to the left-skewed frequency distribution of relative positions formed in LLMs pretraining and post-training stages, which impedes their ability to effectively gather distant information. To address this challenge, we introduce ShifTed Rotray position embeddING (STRING). STRING shifts well-trained positions to overwrite the original ineffective positions during inference, enhancing performance within their existing training lengths. Experimental results show that without additional training, STRING dramatically improves the performance of the latest large-scale models, such as Llama3.1 70B and Qwen2 72B, by over 10 points on popular long-context benchmarks RULER and InfiniteBench, establishing new state-of-the-art results for open-source LLMs. Compared to commercial models, Llama 3.1 70B with \method even achieves better performance than GPT-4-128K and clearly surpasses Claude 2 and Kimi-chat.