SDPO: Otimização de Preferência Direta em Nível de Segmento para Agentes Sociais

SDPO: Segment-Level Direct Preference Optimization for Social Agents

January 3, 2025

Autores: Aobo Kong, Wentao Ma, Shiwan Zhao, Yongbin Li, Yuchuan Wu, Ke Wang, Xiaoqian Liu, Qicheng Li, Yong Qin, Fei Huang

cs.AI

Resumo

Agentes sociais alimentados por grandes modelos de linguagem (LLMs) podem simular comportamentos sociais humanos, mas têm dificuldade em lidar com diálogos sociais complexos orientados por objetivos. A Otimização Direta de Preferência (DPO) tem se mostrado eficaz em alinhar o comportamento do LLM com as preferências humanas em uma variedade de tarefas de agente. As abordagens existentes baseadas em DPO para interações de várias rodadas são divididas em métodos de nível de rodada e métodos de nível de sessão. O método de nível de rodada é excessivamente detalhado, focando exclusivamente em rodadas individuais, enquanto os métodos de nível de sessão são muito abrangentes, frequentemente introduzindo ruído de treinamento. Para lidar com essas limitações, propomos a Otimização Direta de Preferência em Nível de Segmento (SDPO), que se concentra em segmentos-chave específicos dentro das interações para otimizar o comportamento do agente de várias rodadas, minimizando o ruído de treinamento. Avaliações no benchmark SOTOPIA demonstram que os agentes ajustados com SDPO superam consistentemente tanto os métodos existentes baseados em DPO quanto os LLMs proprietários como o GPT-4o, destacando o potencial do SDPO para avançar a inteligência social de agentes baseados em LLM. Disponibilizamos nosso código e dados em https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO.

English

Social agents powered by large language models (LLMs) can simulate human social behaviors but fall short in handling complex goal-oriented social dialogues. Direct Preference Optimization (DPO) has proven effective in aligning LLM behavior with human preferences across a variety of agent tasks. Existing DPO-based approaches for multi-turn interactions are divided into turn-level and session-level methods. The turn-level method is overly fine-grained, focusing exclusively on individual turns, while session-level methods are too coarse-grained, often introducing training noise. To address these limitations, we propose Segment-Level Direct Preference Optimization (SDPO), which focuses on specific key segments within interactions to optimize multi-turn agent behavior while minimizing training noise. Evaluations on the SOTOPIA benchmark demonstrate that SDPO-tuned agents consistently outperform both existing DPO-based methods and proprietary LLMs like GPT-4o, underscoring SDPO's potential to advance the social intelligence of LLM-based agents. We release our code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/SDPO.