LongReward: Migliorare i Modelli Linguistici di Lungo Contesto con Feedback di Intelligenza Artificiale

LongReward: Improving Long-context Large Language Models with AI Feedback

October 28, 2024

Autori: Jiajie Zhang, Zhongni Hou, Xin Lv, Shulin Cao, Zhenyu Hou, Yilin Niu, Lei Hou, Yuxiao Dong, Ling Feng, Juanzi Li

cs.AI

Abstract

Nonostante siano stati raggiunti significativi progressi nello sviluppo di modelli linguistici di lungo contesto (LLM), la qualità compromessa dei dati sintetizzati dai LLM per il fine-tuning supervisionato (SFT) influisce spesso sulle prestazioni a lungo contesto dei modelli SFT e porta a limitazioni intrinseche. In linea di principio, il reinforcement learning (RL) con segnali di ricompensa appropriati può ulteriormente potenziare le capacità dei modelli. Tuttavia, come ottenere ricompense affidabili in scenari a lungo contesto rimane inesplorato. A tal fine, proponiamo LongReward, un nuovo metodo che utilizza un LLM pronto all'uso per fornire ricompense per le risposte del modello a lungo contesto da quattro dimensioni di valore umano: utilità, logicità, fedeltà e completezza, ciascuna con un'attenta pipeline di valutazione progettata. Combinando LongReward e l'algoritmo di RL offline DPO, siamo in grado di migliorare efficacemente i modelli SFT a lungo contesto. I nostri esperimenti indicano che LongReward non solo migliora significativamente le prestazioni a lungo contesto dei modelli, ma potenzia anche la loro capacità di seguire brevi istruzioni. Troviamo anche che il DPO a lungo contesto con LongReward e il DPO a breve contesto convenzionale possono essere utilizzati insieme senza compromettere le prestazioni di nessuno dei due.

English

Though significant advancements have been achieved in developing long-context large language models (LLMs), the compromised quality of LLM-synthesized data for supervised fine-tuning (SFT) often affects the long-context performance of SFT models and leads to inherent limitations. In principle, reinforcement learning (RL) with appropriate reward signals can further enhance models' capacities. However, how to obtain reliable rewards in long-context scenarios remains unexplored. To this end, we propose LongReward, a novel method that utilizes an off-the-shelf LLM to provide rewards for long-context model responses from four human-valued dimensions: helpfulness, logicality, faithfulness, and completeness, each with a carefully designed assessment pipeline. By combining LongReward and offline RL algorithm DPO, we are able to effectively improve long-context SFT models. Our experiments indicate that LongReward not only significantly improves models' long-context performance but also enhances their ability to follow short instructions. We also find that long-context DPO with LongReward and conventional short-context DPO can be used together without hurting either one's performance.