LongRoPE2: Практически без потерь при масштабировании контекстного окна в языковых моделях

LongRoPE2: Near-Lossless LLM Context Window Scaling

February 27, 2025

Авторы: Ning Shang, Li Lyna Zhang, Siyuan Wang, Gaokai Zhang, Gilsinia Lopez, Fan Yang, Weizhu Chen, Mao Yang

cs.AI

Аннотация

LongRoPE2 — это новый подход, который расширяет эффективное окно контекста предварительно обученных больших языковых моделей (LLM) до целевой длины, сохраняя при этом производительность на исходном более коротком окне контекста. Это достигается за счет трех ключевых вкладов: (1) гипотезы о том, что недостаточное обучение в более высоких измерениях RoPE способствует устойчивым проблемам выхода за пределы распределения (OOD), наблюдаемым в существующих методах; (2) эффективного алгоритма масштабирования RoPE, использующего эволюционный поиск, направляемый перплексией на основе "игольчатого" теста, для решения проблемы недостаточного обучения; (3) подхода к обучению со смешанным окном контекста, который тонко настраивает веса модели для адаптации масштабированного RoPE к длинным последовательностям контекста, сохраняя при этом производительность на коротком контексте с исходным RoPE. Масштабные эксперименты на моделях LLaMA3-8B и Phi3-mini-3.8B на различных бенчмарках подтверждают гипотезу и демонстрируют эффективность LongRoPE2. Примечательно, что LongRoPE2 расширяет LLaMA3-8B до эффективной длины контекста в 128K, сохраняя более 98,5% производительности на коротком контексте, используя всего 10B токенов — в 80 раз меньше, чем подход Meta, который не достигает целевой эффективной длины контекста. Код будет доступен по адресу https://github.com/microsoft/LongRoPE.

English

LongRoPE2 is a novel approach that extends the effective context window of pre-trained large language models (LLMs) to the target length, while preserving the performance on the original shorter context window. This is achieved by three contributions: (1) a hypothesis that insufficient training in higher RoPE dimensions contributes to the persistent out-of-distribution (OOD) issues observed in existing methods; (2) an effective RoPE rescaling algorithm that adopts evolutionary search guided by "needle-driven" perplexity to address the insufficient training problem; (3) a mixed context window training approach that fine-tunes model weights to adopt rescaled RoPE for long-context sequences while preserving the short-context performance with the original RoPE. Extensive experiments on LLaMA3-8B and Phi3-mini-3.8B across various benchmarks validate the hypothesis and demonstrate the effectiveness of LongRoPE2. Remarkably, LongRoPE2 extends LLaMA3-8B to achieve a 128K effective context length while retaining over 98.5% of short-context performance, using only 10B tokens -- 80x fewer than Meta's approach, which fails to reach the target effective context length. Code will be available at https://github.com/microsoft/LongRoPE.