LOGO -- Langdurige contextuitlijning via efficiënte voorkeursoptimalisatie

LOGO -- Long cOntext aliGnment via efficient preference Optimization

October 24, 2024

Auteurs: Zecheng Tang, Zechen Sun, Juntao Li, Qiaoming Zhu, Min Zhang

cs.AI

Samenvatting

Lang-contextmodellen (LCM's) hebben een groot potentieel getoond in het verwerken van lange invoerreeksen (zelfs meer dan 100M tokens) op een handige en effectieve manier. Met aanzienlijke vooruitgang heeft recent onderzoek aangetoond dat LCM's nauwkeurig token-niveau opvallende informatie binnen de context kunnen lokaliseren. Toch is de generatieprestatie van deze LCM's verre van bevredigend en kan resulteren in misplaatste reacties, zoals hallucinaties. Om de generatiecapaciteit van LCM's te verbeteren, hebben bestaande werken de effecten van gegevensgrootte en -kwaliteit onderzocht voor zowel voorafgaande training als instructieafstemming. Hoewel er betekenisvolle verbeteringen zijn bereikt, schieten eerdere methoden tekort in effectiviteit of efficiëntie. In dit artikel introduceren we LOGO (Long-context alignmenT via efficient preference Optimization), een trainingsstrategie die eerst voorkeursoptimalisatie introduceert voor lang-contextuitlijning. Om het GPU-geheugenbeperkte probleem veroorzaakt door de lange reeks te overwinnen, maakt LOGO gebruik van een referentievrije voorkeursoptimalisatiestrategie en past het een positiesynthesemethode toe om de trainingsgegevens te construeren. Door te trainen met slechts 0,3B gegevens op een enkele 8xA800 GPU-machine gedurende 16 uur, stelt LOGO het Llama-3-8B-Instruct-80K-model in staat om vergelijkbare prestaties te behalen met GPT-4 in real-world lange-contexttaken, terwijl het de oorspronkelijke mogelijkheden van het model behoudt op andere taken, zoals taalmodellering en MMLU. Bovendien kan LOGO de contextvenstergrootte van het model uitbreiden terwijl het de generatieprestaties verbetert.

English

Long-context models(LCMs) have shown great potential in processing long input sequences(even more than 100M tokens) conveniently and effectively. With significant progress, recent research has pointed out that LCMs can accurately locate token-level salient information within the context. Yet, the generation performance of these LCMs is far from satisfactory and might result in misaligned responses, such as hallucinations. To enhance the generation capability of LCMs, existing works have investigated the effects of data size and quality for both pre-training and instruction tuning. Though achieving meaningful improvement, previous methods fall short in either effectiveness or efficiency. In this paper, we introduce LOGO(Long cOntext aliGnment via efficient preference Optimization), a training strategy that first introduces preference optimization for long-context alignment. To overcome the GPU memory-bound issue caused by the long sequence, LOGO employs a reference-free preference optimization strategy and adopts a position synthesis method to construct the training data. By training with only 0.3B data on a single 8timesA800 GPU machine for 16 hours, LOGO allows the Llama-3-8B-Instruct-80K model to achieve comparable performance with GPT-4 in real-world long-context tasks while preserving the model's original capabilities on other tasks, e.g., language modeling and MMLU. Moreover, LOGO can extend the model's context window size while enhancing its generation performance.