SDPO: Ottimizzazione delle Preferenze Dirette a Livello di Segmento per Agenti Sociali

SDPO: Segment-Level Direct Preference Optimization for Social Agents

January 3, 2025

Autori: Aobo Kong, Wentao Ma, Shiwan Zhao, Yongbin Li, Yuchuan Wu, Ke Wang, Xiaoqian Liu, Qicheng Li, Yong Qin, Fei Huang

cs.AI

Abstract

Gli agenti sociali alimentati da grandi modelli linguistici (LLM) possono simulare comportamenti sociali umani ma presentano limiti nella gestione di dialoghi sociali complessi orientati agli obiettivi. L'ottimizzazione diretta delle preferenze (DPO) si è dimostrata efficace nell'allineare il comportamento dei LLM con le preferenze umane in una varietà di compiti degli agenti. Gli approcci basati su DPO esistenti per interazioni multi-turno sono divisi in metodi a livello di turno e a livello di sessione. Il metodo a livello di turno è eccessivamente dettagliato, concentrandosi esclusivamente sui singoli turni, mentre i metodi a livello di sessione sono troppo grossolani, introducendo spesso rumore durante l'addestramento. Per affrontare queste limitazioni, proponiamo l'Ottimizzazione Diretta delle Preferenze a Livello di Segmento (SDPO), che si concentra su segmenti chiave specifici all'interno delle interazioni per ottimizzare il comportamento multi-turno dell'agente riducendo al minimo il rumore durante l'addestramento. Le valutazioni sul benchmark SOTOPIA dimostrano che gli agenti ottimizzati con SDPO superano costantemente sia i metodi basati su DPO esistenti che i LLM proprietari come GPT-4o, sottolineando il potenziale di SDPO nel migliorare l'intelligenza sociale degli agenti basati su LLM. Rilasciamo il nostro codice e i dati su https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO.

English

Social agents powered by large language models (LLMs) can simulate human social behaviors but fall short in handling complex goal-oriented social dialogues. Direct Preference Optimization (DPO) has proven effective in aligning LLM behavior with human preferences across a variety of agent tasks. Existing DPO-based approaches for multi-turn interactions are divided into turn-level and session-level methods. The turn-level method is overly fine-grained, focusing exclusively on individual turns, while session-level methods are too coarse-grained, often introducing training noise. To address these limitations, we propose Segment-Level Direct Preference Optimization (SDPO), which focuses on specific key segments within interactions to optimize multi-turn agent behavior while minimizing training noise. Evaluations on the SOTOPIA benchmark demonstrate that SDPO-tuned agents consistently outperform both existing DPO-based methods and proprietary LLMs like GPT-4o, underscoring SDPO's potential to advance the social intelligence of LLM-based agents. We release our code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO.