LOGO -- Langzeitkontextausrichtung durch effiziente Präferenzoptimierung

LOGO -- Long cOntext aliGnment via efficient preference Optimization

October 24, 2024

Autoren: Zecheng Tang, Zechen Sun, Juntao Li, Qiaoming Zhu, Min Zhang

cs.AI

Zusammenfassung

Langkontextmodelle (LCMs) haben ein großes Potenzial gezeigt, um lange Eingabesequenzen (sogar mehr als 100 Millionen Tokens) bequem und effektiv zu verarbeiten. Mit signifikanten Fortschritten hat die jüngste Forschung darauf hingewiesen, dass LCMs in der Lage sind, Token-ebene herausragende Informationen innerhalb des Kontexts präzise zu lokalisieren. Dennoch ist die Generierungsleistung dieser LCMs weit von zufriedenstellend entfernt und kann zu fehlausgerichteten Antworten führen, wie z.B. Halluzinationen. Um die Generierungsfähigkeit von LCMs zu verbessern, haben bestehende Arbeiten die Auswirkungen von Datengröße und -qualität sowohl für das Vortraining als auch für die Anleitungsoptimierung untersucht. Obwohl bedeutende Verbesserungen erzielt wurden, schneiden vorherige Methoden entweder in der Effektivität oder Effizienz kurz. In diesem Papier stellen wir LOGO (Long cOntext aliGnment via effiziente Präferenzoptimierung) vor, eine Trainingsstrategie, die zunächst die Präferenzoptimierung für die Langkontextausrichtung einführt. Um das durch die lange Sequenz verursachte Problem des GPU-Speicherlimits zu überwinden, verwendet LOGO eine referenzfreie Präferenzoptimierungsstrategie und übernimmt eine Positionssynthesemethode zur Konstruktion der Trainingsdaten. Durch das Training mit nur 0,3 Milliarden Daten auf einer einzelnen 8xA800 GPU-Maschine für 16 Stunden ermöglicht LOGO dem Llama-3-8B-Instruct-80K-Modell, vergleichbare Leistungen mit GPT-4 in realen Langkontextaufgaben zu erzielen, während es die ursprünglichen Fähigkeiten des Modells bei anderen Aufgaben, wie z.B. Sprachmodellierung und MMLU, bewahrt. Darüber hinaus kann LOGO die Kontextfenstergröße des Modells erweitern und gleichzeitig dessen Generierungsleistung verbessern.

English

Long-context models(LCMs) have shown great potential in processing long input sequences(even more than 100M tokens) conveniently and effectively. With significant progress, recent research has pointed out that LCMs can accurately locate token-level salient information within the context. Yet, the generation performance of these LCMs is far from satisfactory and might result in misaligned responses, such as hallucinations. To enhance the generation capability of LCMs, existing works have investigated the effects of data size and quality for both pre-training and instruction tuning. Though achieving meaningful improvement, previous methods fall short in either effectiveness or efficiency. In this paper, we introduce LOGO(Long cOntext aliGnment via efficient preference Optimization), a training strategy that first introduces preference optimization for long-context alignment. To overcome the GPU memory-bound issue caused by the long sequence, LOGO employs a reference-free preference optimization strategy and adopts a position synthesis method to construct the training data. By training with only 0.3B data on a single 8timesA800 GPU machine for 16 hours, LOGO allows the Llama-3-8B-Instruct-80K model to achieve comparable performance with GPT-4 in real-world long-context tasks while preserving the model's original capabilities on other tasks, e.g., language modeling and MMLU. Moreover, LOGO can extend the model's context window size while enhancing its generation performance.