LOGO -- Allineamento di Lungo Contesto tramite Ottimizzazione Efficienti delle Preferenze

LOGO -- Long cOntext aliGnment via efficient preference Optimization

October 24, 2024

Autori: Zecheng Tang, Zechen Sun, Juntao Li, Qiaoming Zhu, Min Zhang

cs.AI

Abstract

I modelli a lungo contesto (LCM) hanno mostrato un grande potenziale nel processare sequenze di input lunghe (anche più di 100M token) in modo conveniente ed efficace. Con significativi progressi, recenti ricerche hanno evidenziato che i LCM possono individuare con precisione informazioni rilevanti a livello di token all'interno del contesto. Tuttavia, le prestazioni generative di questi LCM sono ancora lontane dall'essere soddisfacenti e potrebbero portare a risposte non allineate, come le allucinazioni. Per potenziare la capacità generativa dei LCM, lavori esistenti hanno indagato gli effetti delle dimensioni e della qualità dei dati sia per la preformazione che per l'addestramento istruzionale. Anche se hanno ottenuto miglioramenti significativi, i metodi precedenti peccano in termini di efficacia o efficienza. In questo articolo, presentiamo LOGO (Allineamento a lungo contesto tramite Ottimizzazione efficiente delle preferenze), una strategia di addestramento che introduce innanzitutto l'ottimizzazione delle preferenze per l'allineamento a lungo contesto. Per superare il problema legato alla memoria GPU causato dalla lunga sequenza, LOGO utilizza una strategia di ottimizzazione delle preferenze senza riferimento e adotta un metodo di sintesi delle posizioni per costruire i dati di addestramento. Addestrando con soli 0.3B di dati su una singola macchina GPU 8timesA800 per 16 ore, LOGO consente al modello Llama-3-8B-Instruct-80K di raggiungere prestazioni comparabili con GPT-4 in compiti reali a lungo contesto, preservando nel contempo le capacità originali del modello in altri compiti, come il language modeling e MMLU. Inoltre, LOGO può estendere la dimensione della finestra di contesto del modello migliorandone le prestazioni generative.

English

Long-context models(LCMs) have shown great potential in processing long input sequences(even more than 100M tokens) conveniently and effectively. With significant progress, recent research has pointed out that LCMs can accurately locate token-level salient information within the context. Yet, the generation performance of these LCMs is far from satisfactory and might result in misaligned responses, such as hallucinations. To enhance the generation capability of LCMs, existing works have investigated the effects of data size and quality for both pre-training and instruction tuning. Though achieving meaningful improvement, previous methods fall short in either effectiveness or efficiency. In this paper, we introduce LOGO(Long cOntext aliGnment via efficient preference Optimization), a training strategy that first introduces preference optimization for long-context alignment. To overcome the GPU memory-bound issue caused by the long sequence, LOGO employs a reference-free preference optimization strategy and adopts a position synthesis method to construct the training data. By training with only 0.3B data on a single 8timesA800 GPU machine for 16 hours, LOGO allows the Llama-3-8B-Instruct-80K model to achieve comparable performance with GPT-4 in real-world long-context tasks while preserving the model's original capabilities on other tasks, e.g., language modeling and MMLU. Moreover, LOGO can extend the model's context window size while enhancing its generation performance.