로고 -- 효율적인 선호도 최적화를 통한 긴 문맥 정렬

LOGO -- Long cOntext aliGnment via efficient preference Optimization

October 24, 2024

저자: Zecheng Tang, Zechen Sun, Juntao Li, Qiaoming Zhu, Min Zhang

cs.AI

초록

긴 문맥 모델(Long-context models, LCMs)은 100백만 개 이상의 토큰을 편리하고 효과적으로 처리하는 데 큰 잠재력을 보여주었습니다. 중요한 진전을 이룬 최근 연구에서 LCMs가 문맥 내에서 토큰 수준의 중요한 정보를 정확하게 찾아낼 수 있다는 점을 지적했습니다. 그러나 이러한 LCMs의 생성 성능은 만족스럽지 못하며 환각과 같은 잘못된 응답을 초래할 수 있습니다. LCMs의 생성 능력을 향상시키기 위해 기존 연구는 사전 훈련과 지시 튜닝 모두에서 데이터 크기와 품질의 영향을 조사해 왔습니다. 의미 있는 개선을 이루었지만, 이전 방법은 효과성이나 효율성 중 어느 하나에 부족함이 있습니다. 본 논문에서는 LOGO(Long cOntext aliGnment via efficient preference Optimization)라는 훈련 전략을 소개합니다. 이 전략은 먼저 긴 문맥 정렬을 위한 선호도 최적화를 도입합니다. 긴 시퀀스로 인한 GPU 메모리 제한 문제를 극복하기 위해 LOGO는 참조 없는 선호도 최적화 전략을 채택하고 위치 합성 방법을 사용하여 훈련 데이터를 구성합니다. 8timesA800 GPU 기계에서 16시간 동안 0.3B 데이터로 훈련을 진행함으로써, LOGO는 Llama-3-8B-Instruct-80K 모델이 실제 긴 문맥 작업에서 GPT-4와 비교 가능한 성능을 달성하도록 하면서 다른 작업(예: 언어 모델링 및 MMLU)에서 모델의 원래 능력을 유지할 수 있습니다. 더불어, LOGO는 모델의 문맥 창 크기를 확장하면서 생성 성능을 향상시킬 수 있습니다.

English

Long-context models(LCMs) have shown great potential in processing long input sequences(even more than 100M tokens) conveniently and effectively. With significant progress, recent research has pointed out that LCMs can accurately locate token-level salient information within the context. Yet, the generation performance of these LCMs is far from satisfactory and might result in misaligned responses, such as hallucinations. To enhance the generation capability of LCMs, existing works have investigated the effects of data size and quality for both pre-training and instruction tuning. Though achieving meaningful improvement, previous methods fall short in either effectiveness or efficiency. In this paper, we introduce LOGO(Long cOntext aliGnment via efficient preference Optimization), a training strategy that first introduces preference optimization for long-context alignment. To overcome the GPU memory-bound issue caused by the long sequence, LOGO employs a reference-free preference optimization strategy and adopts a position synthesis method to construct the training data. By training with only 0.3B data on a single 8timesA800 GPU machine for 16 hours, LOGO allows the Llama-3-8B-Instruct-80K model to achieve comparable performance with GPT-4 in real-world long-context tasks while preserving the model's original capabilities on other tasks, e.g., language modeling and MMLU. Moreover, LOGO can extend the model's context window size while enhancing its generation performance.