Inzichten uit het Omgekeerde: Het reconstrueren van LLM-trainingsdoelen via Omgekeerde RL

Insights from the Inverse: Reconstructing LLM Training Goals Through Inverse RL

October 16, 2024

Auteurs: Jared Joselowitz, Arjun Jagota, Satyapriya Krishna, Sonali Parbhoo

cs.AI

Samenvatting

Grote taalmodellen (LLM's) die zijn getraind met Versterkend Leren van Menselijke Feedback (RLHF) hebben opmerkelijke capaciteiten aangetoond, maar hun onderliggende beloningsfuncties en besluitvormingsprocessen blijven ondoorzichtig. Dit artikel introduceert een nieuwe benadering om LLM's te interpreteren door omgekeerd versterkend leren (IRL) toe te passen om hun impliciete beloningsfuncties te herstellen. We voeren experimenten uit op toxiciteit-gealigneerde LLM's van verschillende groottes, waarbij beloningsmodellen worden geëxtraheerd die tot 80,40% nauwkeurigheid behalen bij het voorspellen van menselijke voorkeuren. Onze analyse onthult belangrijke inzichten in de niet-identificeerbaarheid van beloningsfuncties, de relatie tussen modelgrootte en interpreteerbaarheid, en mogelijke valkuilen in het RLHF-proces. We tonen aan dat beloningsmodellen afgeleid van IRL kunnen worden gebruikt om nieuwe LLM's af te stemmen, resulterend in vergelijkbare of verbeterde prestaties op toxiciteitsbenchmarks. Dit werk biedt een nieuwe kijk op het begrijpen en verbeteren van LLM-alignement, met implicaties voor de verantwoorde ontwikkeling en implementatie van deze krachtige systemen.

English

Large language models (LLMs) trained with Reinforcement Learning from Human Feedback (RLHF) have demonstrated remarkable capabilities, but their underlying reward functions and decision-making processes remain opaque. This paper introduces a novel approach to interpreting LLMs by applying inverse reinforcement learning (IRL) to recover their implicit reward functions. We conduct experiments on toxicity-aligned LLMs of varying sizes, extracting reward models that achieve up to 80.40% accuracy in predicting human preferences. Our analysis reveals key insights into the non-identifiability of reward functions, the relationship between model size and interpretability, and potential pitfalls in the RLHF process. We demonstrate that IRL-derived reward models can be used to fine-tune new LLMs, resulting in comparable or improved performance on toxicity benchmarks. This work provides a new lens for understanding and improving LLM alignment, with implications for the responsible development and deployment of these powerful systems.