Sprachmodelle können sich selbst verlängern, um lange Texte zu generieren.

Language Models can Self-Lengthen to Generate Long Texts

October 31, 2024

Autoren: Shanghaoran Quan, Tianyi Tang, Bowen Yu, An Yang, Dayiheng Liu, Bofei Gao, Jianhong Tu, Yichang Zhang, Jingren Zhou, Junyang Lin

cs.AI

Zusammenfassung

In den letzten Fortschritten bei Large Language Models (LLMs) wurde ihre Fähigkeit, lange Kontexte zu verarbeiten, signifikant verbessert, dennoch besteht eine bemerkenswerte Lücke bei der Generierung langer, ausgerichteter Ausgaben. Diese Einschränkung resultiert aus einer Trainingslücke, bei der das Vortraining keine effektiven Anweisungen für die Generierung von Langtexten bietet und die Post-Trainingsdaten hauptsächlich aus kurzen Frage-Antwort-Paaren bestehen. Aktuelle Ansätze wie Anweisungsrückübersetzung und Verhaltensimitation stehen vor Herausforderungen wie Datenqualität, Urheberrechtsfragen und Einschränkungen bei der Verwendung proprietärer Modelle. In diesem Papier stellen wir ein innovatives iteratives Schulungsframework namens Self-Lengthen vor, das ausschließlich auf dem intrinsischen Wissen und den Fähigkeiten von LLMs basiert, ohne die Notwendigkeit von Hilfsdaten oder proprietären Modellen. Das Framework besteht aus zwei Rollen: dem Generator und dem Erweiterer. Der Generator erstellt die erste Antwort, die dann vom Erweiterer aufgeteilt und erweitert wird. Dieser Prozess führt zu einer neuen, längeren Antwort, die zur iterativen Schulung sowohl des Generators als auch des Erweiterers verwendet wird. Durch diesen Prozess werden die Modelle schrittweise darauf trainiert, zunehmend längere Antworten zu verarbeiten. Experimente an Benchmarks und menschlichen Bewertungen zeigen, dass Self-Lengthen bestehende Methoden bei der Generierung von Langtexten übertrifft, wenn es auf führende Open-Source LLMs wie Qwen2 und LLaMA3 angewendet wird. Unser Code ist öffentlich verfügbar unter https://github.com/QwenLM/Self-Lengthen.

English

Recent advancements in Large Language Models (LLMs) have significantly enhanced their ability to process long contexts, yet a notable gap remains in generating long, aligned outputs. This limitation stems from a training gap where pre-training lacks effective instructions for long-text generation, and post-training data primarily consists of short query-response pairs. Current approaches, such as instruction backtranslation and behavior imitation, face challenges including data quality, copyright issues, and constraints on proprietary model usage. In this paper, we introduce an innovative iterative training framework called Self-Lengthen that leverages only the intrinsic knowledge and skills of LLMs without the need for auxiliary data or proprietary models. The framework consists of two roles: the Generator and the Extender. The Generator produces the initial response, which is then split and expanded by the Extender. This process results in a new, longer response, which is used to train both the Generator and the Extender iteratively. Through this process, the models are progressively trained to handle increasingly longer responses. Experiments on benchmarks and human evaluations show that Self-Lengthen outperforms existing methods in long-text generation, when applied to top open-source LLMs such as Qwen2 and LLaMA3. Our code is publicly available at https://github.com/QwenLM/Self-Lengthen.