I modelli linguistici possono autoestendersi per generare testi lunghi.

Language Models can Self-Lengthen to Generate Long Texts

October 31, 2024

Autori: Shanghaoran Quan, Tianyi Tang, Bowen Yu, An Yang, Dayiheng Liu, Bofei Gao, Jianhong Tu, Yichang Zhang, Jingren Zhou, Junyang Lin

cs.AI

Abstract

I recenti progressi nei Large Language Models (LLM) hanno notevolmente migliorato la loro capacità di elaborare contesti lunghi, tuttavia rimane una significativa lacuna nella generazione di output lunghi e allineati. Questa limitazione deriva da una disparità nella fase di addestramento, in cui la pre-formazione non fornisce istruzioni efficaci per la generazione di testi lunghi, e i dati post-formazione consistono principalmente in brevi coppie domanda-risposta. Approcci attuali, come la retrotraduzione delle istruzioni e l'imitazione del comportamento, affrontano sfide che includono la qualità dei dati, questioni di copyright e vincoli sull'uso di modelli proprietari. In questo articolo, presentiamo un innovativo framework di addestramento iterativo chiamato Self-Lengthen che sfrutta solo la conoscenza intrinseca e le capacità dei LLM senza la necessità di dati ausiliari o modelli proprietari. Il framework è composto da due ruoli: il Generatore e l'Estensore. Il Generatore produce la risposta iniziale, che viene poi divisa ed espansa dall'Estensore. Questo processo porta a una nuova risposta più lunga, che viene utilizzata per addestrare sia il Generatore che l'Estensore in modo iterativo. Attraverso questo processo, i modelli vengono progressivamente addestrati per gestire risposte sempre più lunghe. Gli esperimenti su benchmark e le valutazioni umane mostrano che Self-Lengthen supera i metodi esistenti nella generazione di testi lunghi, quando applicato ai migliori LLM open-source come Qwen2 e LLaMA3. Il nostro codice è disponibile pubblicamente su https://github.com/QwenLM/Self-Lengthen.

English

Recent advancements in Large Language Models (LLMs) have significantly enhanced their ability to process long contexts, yet a notable gap remains in generating long, aligned outputs. This limitation stems from a training gap where pre-training lacks effective instructions for long-text generation, and post-training data primarily consists of short query-response pairs. Current approaches, such as instruction backtranslation and behavior imitation, face challenges including data quality, copyright issues, and constraints on proprietary model usage. In this paper, we introduce an innovative iterative training framework called Self-Lengthen that leverages only the intrinsic knowledge and skills of LLMs without the need for auxiliary data or proprietary models. The framework consists of two roles: the Generator and the Extender. The Generator produces the initial response, which is then split and expanded by the Extender. This process results in a new, longer response, which is used to train both the Generator and the Extender iteratively. Through this process, the models are progressively trained to handle increasingly longer responses. Experiments on benchmarks and human evaluations show that Self-Lengthen outperforms existing methods in long-text generation, when applied to top open-source LLMs such as Qwen2 and LLaMA3. Our code is publicly available at https://github.com/QwenLM/Self-Lengthen.