Segmentazione del testo e apprendimento dei loro premi per migliorare l'RLHF nei modelli linguistici

Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model

January 6, 2025

Autori: Yueqin Yin, Shentao Yang, Yujia Xie, Ziyi Yang, Yuting Sun, Hany Awadalla, Weizhu Chen, Mingyuan Zhou

cs.AI

Abstract

L'apprendimento per rinforzo da feedback umano (RLHF) è stato ampiamente adottato per allineare i modelli linguistici (LMs) con le preferenze umane. I lavori precedenti su RLHF solitamente adottano una formulazione a bandito, che, sebbene intuitiva, ignora la natura sequenziale della generazione di LM e può soffrire del problema del premio sparso. Mentre i lavori recenti propongono RLHF a livello di token denso, trattare ogni token come un'azione potrebbe essere troppo sottile per una corretta assegnazione del premio. In questo articolo, cerchiamo di ottenere il meglio di entrambi addestrando e utilizzando un modello di premio a livello di segmento, che assegna un premio a ciascun segmento di testo semanticamente completo che si estende su una breve sequenza di token. Per l'apprendimento del premio, il nostro metodo consente la segmentazione dinamica del testo e la compatibilità con set di dati standard di preferenza di sequenza. Per un addestramento efficace di LM basato su RL contro il premio del segmento, generalizziamo i normalizzatori di premio bandito scalari classici in funzioni di normalizzazione consapevoli della posizione e interpoliamo il premio del segmento per una maggiore densificazione. Con questi design, il nostro metodo si comporta in modo competitivo su tre popolari benchmark RLHF per la politica di LM: AlpacaEval 2.0, Arena-Hard e MT-Bench. Sono stati condotti studi di ablation per dimostrare ulteriormente il nostro metodo.

English

Reinforcement learning from human feedback (RLHF) has been widely adopted to align language models (LMs) with human preference. Prior RLHF works typically take a bandit formulation, which, though intuitive, ignores the sequential nature of LM generation and can suffer from the sparse reward issue. While recent works propose dense token-level RLHF, treating each token as an action may be oversubtle to proper reward assignment. In this paper, we seek to get the best of both by training and utilizing a segment-level reward model, which assigns a reward to each semantically complete text segment that spans over a short sequence of tokens. For reward learning, our method allows dynamic text segmentation and compatibility with standard sequence-preference datasets. For effective RL-based LM training against segment reward, we generalize the classical scalar bandit reward normalizers into location-aware normalizer functions and interpolate the segment reward for further densification. With these designs, our method performs competitively on three popular RLHF benchmarks for LM policy: AlpacaEval 2.0, Arena-Hard, and MT-Bench. Ablation studies are conducted to further demonstrate our method.