LongReward: Verbesserung von Sprachmodellen mit großem Kontext durch KI-Feedback

LongReward: Improving Long-context Large Language Models with AI Feedback

October 28, 2024

Autoren: Jiajie Zhang, Zhongni Hou, Xin Lv, Shulin Cao, Zhenyu Hou, Yilin Niu, Lei Hou, Yuxiao Dong, Ling Feng, Juanzi Li

cs.AI

Zusammenfassung

Obwohl bedeutende Fortschritte bei der Entwicklung von großangelegten Sprachmodellen mit langem Kontext (LLMs) erzielt wurden, beeinträchtigt die beeinträchtigte Qualität der von LLMs synthetisierten Daten für das überwachte Feintuning (SFT) häufig die Leistung von SFT-Modellen im langen Kontext und führt zu inhärenten Einschränkungen. Grundsätzlich kann die Verstärkungslernmethode (RL) mit geeigneten Belohnungssignalen die Kapazitäten von Modellen weiter verbessern. Es bleibt jedoch unerforscht, wie zuverlässige Belohnungen in Szenarien mit langem Kontext erhalten werden können. Zu diesem Zweck schlagen wir LongReward vor, eine neuartige Methode, die ein sofort einsatzbereites LLM verwendet, um Belohnungen für Modellantworten im langen Kontext aus vier menschlich bewerteten Dimensionen bereitzustellen: Hilfreichkeit, Logik, Treue und Vollständigkeit, jede mit einer sorgfältig gestalteten Bewertungspipeline. Durch die Kombination von LongReward und dem Offline-RL-Algorithmus DPO können wir die Leistung von SFT-Modellen im langen Kontext effektiv verbessern. Unsere Experimente zeigen, dass LongReward nicht nur die Leistung von Modellen im langen Kontext signifikant verbessert, sondern auch ihre Fähigkeit verbessert, kurzen Anweisungen zu folgen. Wir stellen auch fest, dass der langkontextige DPO mit LongReward und der konventionelle kurzkontextige DPO gemeinsam verwendet werden können, ohne die Leistung des einen oder des anderen zu beeinträchtigen.

English

Though significant advancements have been achieved in developing long-context large language models (LLMs), the compromised quality of LLM-synthesized data for supervised fine-tuning (SFT) often affects the long-context performance of SFT models and leads to inherent limitations. In principle, reinforcement learning (RL) with appropriate reward signals can further enhance models' capacities. However, how to obtain reliable rewards in long-context scenarios remains unexplored. To this end, we propose LongReward, a novel method that utilizes an off-the-shelf LLM to provide rewards for long-context model responses from four human-valued dimensions: helpfulness, logicality, faithfulness, and completeness, each with a carefully designed assessment pipeline. By combining LongReward and offline RL algorithm DPO, we are able to effectively improve long-context SFT models. Our experiments indicate that LongReward not only significantly improves models' long-context performance but also enhances their ability to follow short instructions. We also find that long-context DPO with LongReward and conventional short-context DPO can be used together without hurting either one's performance.