DEMO: Riformulazione dell'Interazione Dialogica con la Modellazione degli Elementi Dettagliati

DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

December 6, 2024

Autori: Minzheng Wang, Xinghua Zhang, Kun Chen, Nan Xu, Haiyang Yu, Fei Huang, Wenji Mao, Yongbin Li

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno reso il dialogo uno dei principali modi di interazione uomo-macchina, portando all'accumulo di vaste quantità di registri di conversazioni e all'aumento della domanda di generazione di dialoghi. Un ciclo di vita conversazionale si estende dal Preludio attraverso l'Interloquio fino all'Epilogo, comprendendo vari elementi. Nonostante l'esistenza di numerosi studi relativi al dialogo, mancano dei punti di riferimento che includano elementi di dialogo completi, ostacolando la modellazione precisa e la valutazione sistematica. Per colmare questa lacuna, presentiamo un'innovativa attività di ricerca Modellazione degli Elementi del Dialogo, che include la Consapevolezza degli Elementi e l'Interazione dell'Agente di Dialogo, e proponiamo un nuovo punto di riferimento, DEMO, progettato per una modellazione e valutazione completa del dialogo. Ispirati dall'apprendimento per imitazione, costruiamo inoltre l'agente che possiede l'abile capacità di modellare gli elementi del dialogo basandosi sul punto di riferimento DEMO. Estesi esperimenti indicano che i LLM esistenti mostrano ancora un notevole potenziale di miglioramento e che il nostro agente DEMO ha prestazioni superiori sia nei compiti in-domain che out-of-domain.

English

Large language models (LLMs) have made dialogue one of the central modes of human-machine interaction, leading to the accumulation of vast amounts of conversation logs and increasing demand for dialogue generation. A conversational life-cycle spans from the Prelude through the Interlocution to the Epilogue, encompassing various elements. Despite the existence of numerous dialogue-related studies, there is a lack of benchmarks that encompass comprehensive dialogue elements, hindering precise modeling and systematic evaluation. To bridge this gap, we introduce an innovative research task Dialogue Element MOdeling, including Element Awareness and Dialogue Agent Interaction, and propose a novel benchmark, DEMO, designed for a comprehensive dialogue modeling and assessment. Inspired by imitation learning, we further build the agent which possesses the adept ability to model dialogue elements based on the DEMO benchmark. Extensive experiments indicate that existing LLMs still exhibit considerable potential for enhancement, and our DEMO agent has superior performance in both in-domain and out-of-domain tasks.