Dialog2Flow: 자동 대화 흐름 추출을 위한 사전 훈련된 Soft-Contrastive Action-Driven 문장 임베딩

Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction

October 24, 2024

저자: Sergio Burdisso, Srikanth Madikeri, Petr Motlicek

cs.AI

초록

미주석 대화에서 구조화된 워크플로우를 효율적으로 유도하는 것은 계산언어학에서 미개척되고 강력한 도전 과제입니다. 이 과정을 자동화함으로써 새로운 도메인에서의 워크플로우 수동 설계를 크게 가속화하고 대규모 언어 모델을 도메인별 플로차트에 기반하여 지원함으로써 투명성과 제어 가능성을 향상시킬 수 있습니다. 본 논문에서는 대화를 플로우차트로 변환하는 Dialog2Flow (D2F) 임베딩을 소개합니다. 이 임베딩은 발화를 의사소통적 및 정보적 기능(즉, 그들이 대표하는 행동)에 따라 그룹화하여 일반적인 문장 임베딩과 다릅니다. D2F는 대화를 잠재 공간에서 특정 행동과 관련된 지역을 가진 연속적 궤적으로 모델링할 수 있습니다. D2F 임베딩을 클러스터링함으로써 잠재 공간이 양자화되고 대화가 지역/행동 ID 시퀀스로 변환되어 기본 워크플로우를 추출하는 것을 용이하게 할 수 있습니다. D2F를 사전 훈련하기 위해, 우리는 이전에 정규화된 턴별 액션 주석을 갖춘 20개의 과제 지향 대화 데이터셋을 통합하여 포괄적인 데이터셋을 구축합니다. 또한 이러한 액션들의 의미 정보를 활용하여 표현 학습 과정을 안내하는 새로운 소프트 대조 손실을 소개하여 표준 지도 대조 손실과 비교했을 때 우수한 성능을 보입니다. 대화 특화 문장 임베딩을 포함한 다양한 문장 임베딩에 대한 평가에서, D2F가 다양한 도메인에서 우수한 질적 및 양적 결과를 제공함을 보여줍니다.

English

Efficiently deriving structured workflows from unannotated dialogs remains an underexplored and formidable challenge in computational linguistics. Automating this process could significantly accelerate the manual design of workflows in new domains and enable the grounding of large language models in domain-specific flowcharts, enhancing transparency and controllability. In this paper, we introduce Dialog2Flow (D2F) embeddings, which differ from conventional sentence embeddings by mapping utterances to a latent space where they are grouped according to their communicative and informative functions (i.e., the actions they represent). D2F allows for modeling dialogs as continuous trajectories in a latent space with distinct action-related regions. By clustering D2F embeddings, the latent space is quantized, and dialogs can be converted into sequences of region/action IDs, facilitating the extraction of the underlying workflow. To pre-train D2F, we build a comprehensive dataset by unifying twenty task-oriented dialog datasets with normalized per-turn action annotations. We also introduce a novel soft contrastive loss that leverages the semantic information of these actions to guide the representation learning process, showing superior performance compared to standard supervised contrastive loss. Evaluation against various sentence embeddings, including dialog-specific ones, demonstrates that D2F yields superior qualitative and quantitative results across diverse domains.