언어 모델은 자가 연장하여 긴 텍스트를 생성할 수 있습니다.

Language Models can Self-Lengthen to Generate Long Texts

October 31, 2024

저자: Shanghaoran Quan, Tianyi Tang, Bowen Yu, An Yang, Dayiheng Liu, Bofei Gao, Jianhong Tu, Yichang Zhang, Jingren Zhou, Junyang Lin

cs.AI

초록

최근 대형 언어 모델 (LLM)의 발전은 긴 맥락을 처리하는 능력을 크게 향상시켰지만, 긴 맞춤 출력 생성에서는 상당한 차이가 남아 있습니다. 이 한계는 사전 훈련이 긴 텍스트 생성에 대한 효과적인 지침을 부족하게 하고, 사후 훈련 데이터가 주로 짧은 질의-응답 쌍으로 구성되어 있기 때문에 발생합니다. 지시 역번역과 행동 모방과 같은 현재의 방법들은 데이터 품질, 저작권 문제, 그리고 소유 모델 사용에 대한 제약 등의 어려움에 직면하고 있습니다. 본 논문에서는 보조 데이터나 소유 모델이 필요하지 않는 LLM의 내재 지식과 기술만을 활용하는 혁신적인 반복 훈련 프레임워크인 Self-Lengthen을 소개합니다. 이 프레임워크는 생성자와 확장자 두 가지 역할로 구성되어 있습니다. 생성자는 초기 응답을 생성하고, 그 후 확장자가 이를 분할하고 확장합니다. 이 과정을 통해 새로운, 더 긴 응답이 생성되며, 이를 통해 생성자와 확장자가 반복적으로 훈련됩니다. 이 과정을 통해 모델들은 점차적으로 점점 더 긴 응답을 처리할 수 있도록 훈련됩니다. 벤치마크 및 인간 평가 실험 결과는 Self-Lengthen이 Qwen2 및 LLaMA3와 같은 최고의 오픈 소스 LLM에 적용될 때 긴 텍스트 생성에서 기존 방법들을 능가한다는 것을 보여줍니다. 저희 코드는 https://github.com/QwenLM/Self-Lengthen에서 공개적으로 제공됩니다.

English

Recent advancements in Large Language Models (LLMs) have significantly enhanced their ability to process long contexts, yet a notable gap remains in generating long, aligned outputs. This limitation stems from a training gap where pre-training lacks effective instructions for long-text generation, and post-training data primarily consists of short query-response pairs. Current approaches, such as instruction backtranslation and behavior imitation, face challenges including data quality, copyright issues, and constraints on proprietary model usage. In this paper, we introduce an innovative iterative training framework called Self-Lengthen that leverages only the intrinsic knowledge and skills of LLMs without the need for auxiliary data or proprietary models. The framework consists of two roles: the Generator and the Extender. The Generator produces the initial response, which is then split and expanded by the Extender. This process results in a new, longer response, which is used to train both the Generator and the Extender iteratively. Through this process, the models are progressively trained to handle increasingly longer responses. Experiments on benchmarks and human evaluations show that Self-Lengthen outperforms existing methods in long-text generation, when applied to top open-source LLMs such as Qwen2 and LLaMA3. Our code is publicly available at https://github.com/QwenLM/Self-Lengthen.