LLM 시대에 대화 분석의 필수성: 과제, 기술, 및 트렌드 조사

The Imperative of Conversation Analysis in the Era of LLMs: A Survey of Tasks, Techniques, and Trends

September 21, 2024

저자: Xinghua Zhang, Haiyang Yu, Yongbin Li, Minzheng Wang, Longze Chen, Fei Huang

cs.AI

초록

대형 언어 모델(LLM) 시대에는 언어 UI의 급속한 발전 트렌드 덕분에 방대한 대화 로그가 축적될 것입니다. 대화 분석(CA)은 대화 데이터에서 중요 정보를 발굴하고 분석하여 수동 프로세스를 최적화하며 비즈니스 통찰력과 의사 결정을 지원합니다. CA의 필요성은 실행 가능한 통찰을 추출하고 역량을 증진시키는 데 점점 더 중요해지고 널리 주목을 끌고 있습니다. 그러나 CA의 명확한 범위 부재로 인해 다양한 기술이 분산되어 시스템적 기술 융합을 형성하기 어렵습니다. 본 논문에서는 철저한 검토를 수행하고 CA 작업을 체계화하여 기존 관련 작업을 요약합니다. 구체적으로, 우리는 CA 작업을 공식적으로 정의하여 이 분야의 분열된 혼돈된 풍경에 맞서고 대화 장면 재구성부터 심층 속성 분석, 그리고 대상 지향적 훈련을 수행하고 마지막으로 특정 목표를 달성하기 위해 대상 훈련에 기반한 대화를 생성하는 네 가지 주요 단계를 도출합니다. 또한 관련 벤치마크를 소개하고 잠재적인 도전과 산업 및 학계의 미래 방향을 논의합니다. 현재의 발전 상황을 고려할 때, 논문은 대부분의 노력이 얕은 대화 요소의 분석에 집중되어 있음을 명백히 합니다. 이는 연구와 비즈니스 간에 상당한 격차를 보여주며 LLM의 지원을 통해 최근 작업은 정교하고 고수준인 인과 관계 및 전략적 작업에 대한 연구로 나아가는 추세를 보여줍니다. 분석된 경험과 통찰력은 대화 로그를 대상으로 하는 비즈니스 운영에서 보다 넓은 응용 가치를 갖게 될 것입니다.

English

In the era of large language models (LLMs), a vast amount of conversation logs will be accumulated thanks to the rapid development trend of language UI. Conversation Analysis (CA) strives to uncover and analyze critical information from conversation data, streamlining manual processes and supporting business insights and decision-making. The need for CA to extract actionable insights and drive empowerment is becoming increasingly prominent and attracting widespread attention. However, the lack of a clear scope for CA leads to a dispersion of various techniques, making it difficult to form a systematic technical synergy to empower business applications. In this paper, we perform a thorough review and systematize CA task to summarize the existing related work. Specifically, we formally define CA task to confront the fragmented and chaotic landscape in this field, and derive four key steps of CA from conversation scene reconstruction, to in-depth attribution analysis, and then to performing targeted training, finally generating conversations based on the targeted training for achieving the specific goals. In addition, we showcase the relevant benchmarks, discuss potential challenges and point out future directions in both industry and academia. In view of current advancements, it is evident that the majority of efforts are still concentrated on the analysis of shallow conversation elements, which presents a considerable gap between the research and business, and with the assist of LLMs, recent work has shown a trend towards research on causality and strategic tasks which are sophisticated and high-level. The analyzed experiences and insights will inevitably have broader application value in business operations that target conversation logs.