LongReward: Het Verbeteren van Grote Taalmodellen met Lange Context met AI-Feedback

LongReward: Improving Long-context Large Language Models with AI Feedback

October 28, 2024

Auteurs: Jiajie Zhang, Zhongni Hou, Xin Lv, Shulin Cao, Zhenyu Hou, Yilin Niu, Lei Hou, Yuxiao Dong, Ling Feng, Juanzi Li

cs.AI

Samenvatting

Hoewel er aanzienlijke vooruitgang is geboekt in het ontwikkelen van lang-context grote taalmodellen (LLM's), heeft de verminderde kwaliteit van LLM-gegenereerde gegevens voor begeleide fijntuning (SFT) vaak invloed op de prestaties van lange context van SFT-modellen en leidt tot inherente beperkingen. In principe kan reinforcement learning (RL) met passende beloningssignalen de capaciteiten van modellen verder verbeteren. Echter, hoe betrouwbare beloningen te verkrijgen in lange-context scenario's blijft onontgonnen. Daartoe stellen we LongReward voor, een nieuw methodiek die een kant-en-klaar LLM gebruikt om beloningen te verstrekken voor lange-context model reacties vanuit vier door mensen gewaardeerde dimensies: behulpzaamheid, logica, getrouwheid en volledigheid, elk met een zorgvuldig ontworpen beoordelingsproces. Door LongReward te combineren met het offline RL-algoritme DPO, zijn we in staat om effectief lange-context SFT-modellen te verbeteren. Onze experimenten geven aan dat LongReward niet alleen aanzienlijk de prestaties van modellen in lange context verbetert, maar ook hun vermogen om korte instructies op te volgen verbetert. We vinden ook dat lange-context DPO met LongReward en conventionele korte-context DPO samen kunnen worden gebruikt zonder de prestaties van beide te schaden.

English

Though significant advancements have been achieved in developing long-context large language models (LLMs), the compromised quality of LLM-synthesized data for supervised fine-tuning (SFT) often affects the long-context performance of SFT models and leads to inherent limitations. In principle, reinforcement learning (RL) with appropriate reward signals can further enhance models' capacities. However, how to obtain reliable rewards in long-context scenarios remains unexplored. To this end, we propose LongReward, a novel method that utilizes an off-the-shelf LLM to provide rewards for long-context model responses from four human-valued dimensions: helpfulness, logicality, faithfulness, and completeness, each with a carefully designed assessment pipeline. By combining LongReward and offline RL algorithm DPO, we are able to effectively improve long-context SFT models. Our experiments indicate that LongReward not only significantly improves models' long-context performance but also enhances their ability to follow short instructions. We also find that long-context DPO with LongReward and conventional short-context DPO can be used together without hurting either one's performance.