데모: 미세한 요소 모델링을 활용한 대화 상호작용 재구성

DEMO: Reframing Dialogue Interaction with Fine-grained Element Modeling

December 6, 2024

저자: Minzheng Wang, Xinghua Zhang, Kun Chen, Nan Xu, Haiyang Yu, Fei Huang, Wenji Mao, Yongbin Li

cs.AI

초록

대형 언어 모델(Large language models, LLMs)은 대화를 인간-기계 상호작용의 중심 모드 중 하나로 만들어, 방대한 양의 대화 로그를 축적하고 대화 생성에 대한 수요를 증가시켰다. 대화 수명주기는 전개부(Prelude)를 거쳐 대화(Interlocution)를 통해 결론(Epilogue)에 이르는데, 다양한 요소를 포함한다. 다양한 대화 관련 연구가 존재하나, 포괄적인 대화 요소를 포함하는 벤치마크가 부족해 정확한 모델링과 체계적인 평가를 방해하고 있다. 이 간극을 메우기 위해, 우리는 혁신적인 연구 과제인 대화 요소 모델링(Dialogue Element MOdeling)을 소개하며, 요소 인식(Element Awareness)과 대화 에이전트 상호작용(Dialogue Agent Interaction)을 포함하고, 포괄적인 대화 모델링과 평가를 위해 고안된 새로운 벤치마크인 DEMO를 제안한다. 모방 학습에 영감을 받아, 우리는 더 나아가 DEMO 벤치마크를 기반으로 대화 요소를 모델링하는 능숙한 능력을 갖춘 에이전트를 구축한다. 방대한 실험 결과, 기존 LLMs는 여전히 상당한 향상 가능성을 보이며, 우리의 DEMO 에이전트는 도메인 내 및 도메인 외 작업 모두에서 우수한 성능을 보여준다.

English

Large language models (LLMs) have made dialogue one of the central modes of human-machine interaction, leading to the accumulation of vast amounts of conversation logs and increasing demand for dialogue generation. A conversational life-cycle spans from the Prelude through the Interlocution to the Epilogue, encompassing various elements. Despite the existence of numerous dialogue-related studies, there is a lack of benchmarks that encompass comprehensive dialogue elements, hindering precise modeling and systematic evaluation. To bridge this gap, we introduce an innovative research task Dialogue Element MOdeling, including Element Awareness and Dialogue Agent Interaction, and propose a novel benchmark, DEMO, designed for a comprehensive dialogue modeling and assessment. Inspired by imitation learning, we further build the agent which possesses the adept ability to model dialogue elements based on the DEMO benchmark. Extensive experiments indicate that existing LLMs still exhibit considerable potential for enhancement, and our DEMO agent has superior performance in both in-domain and out-of-domain tasks.