LOGO -- Alignement long du contexte via une optimisation efficace des préférences

LOGO -- Long cOntext aliGnment via efficient preference Optimization

October 24, 2024

Auteurs: Zecheng Tang, Zechen Sun, Juntao Li, Qiaoming Zhu, Min Zhang

cs.AI

Résumé

Les modèles à long contexte (LCMs) ont montré un grand potentiel dans le traitement pratique et efficace de longues séquences d'entrée (même plus de 100 millions de jetons). Avec des progrès significatifs, des recherches récentes ont souligné que les LCMs peuvent localiser avec précision les informations saillantes au niveau du jeton dans le contexte. Cependant, les performances de génération de ces LCMs sont loin d'être satisfaisantes et pourraient entraîner des réponses mal alignées, telles que des hallucinations. Pour améliorer la capacité de génération des LCMs, des travaux existants ont étudié les effets de la taille et de la qualité des données pour la pré-formation et l'ajustement de l'instruction. Bien qu'ils aient obtenu des améliorations significatives, les méthodes précédentes pèchent soit par leur efficacité, soit par leur efficience. Dans cet article, nous présentons LOGO (Alignement à long contexte via une optimisation efficace des préférences), une stratégie de formation qui introduit d'abord une optimisation des préférences pour l'alignement à long contexte. Pour surmonter le problème de limitation de la mémoire GPU causé par la longue séquence, LOGO utilise une stratégie d'optimisation des préférences sans référence et adopte une méthode de synthèse de position pour construire les données d'entraînement. En s'entraînant avec seulement 0,3 milliard de données sur une seule machine GPU 8xA800 pendant 16 heures, LOGO permet au modèle Llama-3-8B-Instruct-80K d'atteindre des performances comparables à celles de GPT-4 dans des tâches réelles à long contexte tout en préservant les capacités originales du modèle dans d'autres tâches, telles que la modélisation du langage et MMLU. De plus, LOGO peut étendre la taille de la fenêtre de contexte du modèle tout en améliorant ses performances de génération.

English

Long-context models(LCMs) have shown great potential in processing long input sequences(even more than 100M tokens) conveniently and effectively. With significant progress, recent research has pointed out that LCMs can accurately locate token-level salient information within the context. Yet, the generation performance of these LCMs is far from satisfactory and might result in misaligned responses, such as hallucinations. To enhance the generation capability of LCMs, existing works have investigated the effects of data size and quality for both pre-training and instruction tuning. Though achieving meaningful improvement, previous methods fall short in either effectiveness or efficiency. In this paper, we introduce LOGO(Long cOntext aliGnment via efficient preference Optimization), a training strategy that first introduces preference optimization for long-context alignment. To overcome the GPU memory-bound issue caused by the long sequence, LOGO employs a reference-free preference optimization strategy and adopts a position synthesis method to construct the training data. By training with only 0.3B data on a single 8timesA800 GPU machine for 16 hours, LOGO allows the Llama-3-8B-Instruct-80K model to achieve comparable performance with GPT-4 in real-world long-context tasks while preserving the model's original capabilities on other tasks, e.g., language modeling and MMLU. Moreover, LOGO can extend the model's context window size while enhancing its generation performance.