Так говорил модель языка с длинным контекстом

Thus Spake Long-Context Large Language Model

February 24, 2025

Авторы: Xiaoran Liu, Ruixiao Li, Mianqiu Huang, Zhigeng Liu, Yuerong Song, Qipeng Guo, Siyang He, Qiqi Wang, Linlin Li, Qun Liu, Yaqian Zhou, Xuanjing Huang, Xipeng Qiu

cs.AI

Аннотация

Длинный контекст является важной темой в обработке естественного языка (Natural Language Processing, NLP), пронизывая развитие архитектур NLP и предоставляя огромные возможности для моделей большого языкового объема (Large Language Models, LLMs), придавая LLMs потенциал к обучению на протяжении жизни, аналогичный человеческому. К сожалению, стремление к длинному контексту сопровождается многочисленными препятствиями. Тем не менее, длинный контекст остается основным конкурентным преимуществом для LLMs. За последние два года длина контекста LLMs достигла прорывного увеличения до миллионов токенов. Более того, исследования по LLMs с длинным контекстом расширились от экстраполяции длины до всестороннего фокуса на архитектуре, инфраструктуре, обучении и технологиях оценки. Вдохновленные симфонической поэмой "Так говорил Заратустра", мы проводим аналогию между путешествием по расширению контекста LLM и попытками людей преодолеть свою смертность. В этом обзоре мы проиллюстрируем, как LLM борется между огромной необходимостью в более длинном контексте и равной необходимостью принять тот факт, что он в конечном итоге ограничен. Для достижения этого мы представим общую картину жизненного цикла LLM с длинным контекстом с четырех точек зрения: архитектура, инфраструктура, обучение и оценка, демонстрируя полный спектр технологий длинного контекста. В конце этого обзора мы представим 10 неотвеченных вопросов, с которыми в настоящее время сталкиваются LLM с длинным контекстом. Мы надеемся, что этот обзор может служить систематическим введением в исследования по LLM с длинным контекстом.

English

Long context is an important topic in Natural Language Processing (NLP), running through the development of NLP architectures, and offers immense opportunities for Large Language Models (LLMs) giving LLMs the lifelong learning potential akin to humans. Unfortunately, the pursuit of a long context is accompanied by numerous obstacles. Nevertheless, long context remains a core competitive advantage for LLMs. In the past two years, the context length of LLMs has achieved a breakthrough extension to millions of tokens. Moreover, the research on long-context LLMs has expanded from length extrapolation to a comprehensive focus on architecture, infrastructure, training, and evaluation technologies. Inspired by the symphonic poem, Thus Spake Zarathustra, we draw an analogy between the journey of extending the context of LLM and the attempts of humans to transcend its mortality. In this survey, We will illustrate how LLM struggles between the tremendous need for a longer context and its equal need to accept the fact that it is ultimately finite. To achieve this, we give a global picture of the lifecycle of long-context LLMs from four perspectives: architecture, infrastructure, training, and evaluation, showcasing the full spectrum of long-context technologies. At the end of this survey, we will present 10 unanswered questions currently faced by long-context LLMs. We hope this survey can serve as a systematic introduction to the research on long-context LLMs.