LongReward : Améliorer les grands modèles de langage à long contexte avec l'IA Feedback

LongReward: Improving Long-context Large Language Models with AI Feedback

October 28, 2024

Auteurs: Jiajie Zhang, Zhongni Hou, Xin Lv, Shulin Cao, Zhenyu Hou, Yilin Niu, Lei Hou, Yuxiao Dong, Ling Feng, Juanzi Li

cs.AI

Résumé

Bien que des avancées significatives aient été réalisées dans le développement de modèles de langage à grande échelle à long contexte (LLM), la qualité compromise des données synthétisées par les LLM pour le fine-tuning supervisé (SFT) affecte souvent les performances à long contexte des modèles SFT et entraîne des limitations inhérentes. En principe, l'apprentissage par renforcement (RL) avec des signaux de récompense appropriés peut renforcer davantage les capacités des modèles. Cependant, la manière d'obtenir des récompenses fiables dans des scénarios à long contexte reste inexplorée. À cette fin, nous proposons LongReward, une nouvelle méthode qui utilise un LLM prêt à l'emploi pour fournir des récompenses pour les réponses des modèles à long contexte à partir de quatre dimensions valorisées par les humains : l'utilité, la logique, la fidélité et l'exhaustivité, chacune avec un pipeline d'évaluation soigneusement conçu. En combinant LongReward et l'algorithme RL hors ligne DPO, nous sommes en mesure d'améliorer efficacement les modèles SFT à long contexte. Nos expériences indiquent que LongReward améliore non seulement de manière significative les performances à long contexte des modèles, mais renforce également leur capacité à suivre de courtes instructions. Nous constatons également que le DPO à long contexte avec LongReward et le DPO à court contexte conventionnel peuvent être utilisés ensemble sans nuire aux performances de l'un ou de l'autre.

English

Though significant advancements have been achieved in developing long-context large language models (LLMs), the compromised quality of LLM-synthesized data for supervised fine-tuning (SFT) often affects the long-context performance of SFT models and leads to inherent limitations. In principle, reinforcement learning (RL) with appropriate reward signals can further enhance models' capacities. However, how to obtain reliable rewards in long-context scenarios remains unexplored. To this end, we propose LongReward, a novel method that utilizes an off-the-shelf LLM to provide rewards for long-context model responses from four human-valued dimensions: helpfulness, logicality, faithfulness, and completeness, each with a carefully designed assessment pipeline. By combining LongReward and offline RL algorithm DPO, we are able to effectively improve long-context SFT models. Our experiments indicate that LongReward not only significantly improves models' long-context performance but also enhances their ability to follow short instructions. We also find that long-context DPO with LongReward and conventional short-context DPO can be used together without hurting either one's performance.