SWEET-RL: Training von Multi-Turn-LLM-Agenten für kollaborative Denkaufgaben

SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks

March 19, 2025

Autoren: Yifei Zhou, Song Jiang, Yuandong Tian, Jason Weston, Sergey Levine, Sainbayar Sukhbaatar, Xian Li

cs.AI

Zusammenfassung

Große Sprachmodell-Agenten (LLM-Agenten) müssen in realen Aufgaben mehrstufige Interaktionen durchführen. Allerdings versagen bestehende mehrstufige RL-Algorithmen (Reinforcement Learning) zur Optimierung von LLM-Agenten darin, eine effektive Kreditvergabe über mehrere Schritte hinweg zu leisten, während sie gleichzeitig die Generalisierungsfähigkeiten von LLMs nutzen. Es bleibt unklar, wie solche Algorithmen entwickelt werden können. Um dies zu untersuchen, führen wir zunächst einen neuen Benchmark, ColBench, ein, bei dem ein LLM-Agent über mehrere Schritte hinweg mit einem menschlichen Mitarbeiter interagiert, um realistische Aufgaben in der Backend-Programmierung und Frontend-Gestaltung zu lösen. Aufbauend auf diesem Benchmark schlagen wir einen neuartigen RL-Algorithmus vor, SWEET-RL (RL mit schrittweiser Bewertung auf Basis von Trainingsinformationen), der ein sorgfältig gestaltetes Optimierungsziel verwendet, um ein Kritikmodell mit Zugriff auf zusätzliche Trainingsinformationen zu trainieren. Das Kritikmodell liefert schrittweise Belohnungen zur Verbesserung des Politikmodells. Unsere Experimente zeigen, dass SWEET-RL im Vergleich zu anderen state-of-the-art mehrstufigen RL-Algorithmen eine absolute Verbesserung von 6 % bei Erfolgs- und Gewinnraten auf ColBench erzielt und es Llama-3.1-8B ermöglicht, die Leistung von GPT4-o bei der realistischen kollaborativen Inhaltserstellung zu erreichen oder zu übertreffen.

English

Large language model (LLM) agents need to perform multi-turn interactions in real-world tasks. However, existing multi-turn RL algorithms for optimizing LLM agents fail to perform effective credit assignment over multiple turns while leveraging the generalization capabilities of LLMs and it remains unclear how to develop such algorithms. To study this, we first introduce a new benchmark, ColBench, where an LLM agent interacts with a human collaborator over multiple turns to solve realistic tasks in backend programming and frontend design. Building on this benchmark, we propose a novel RL algorithm, SWEET-RL (RL with Step-WisE Evaluation from Training-time information), that uses a carefully designed optimization objective to train a critic model with access to additional training-time information. The critic provides step-level rewards for improving the policy model. Our experiments demonstrate that SWEET-RL achieves a 6% absolute improvement in success and win rates on ColBench compared to other state-of-the-art multi-turn RL algorithms, enabling Llama-3.1-8B to match or exceed the performance of GPT4-o in realistic collaborative content creation.