Dialog2Flow: Vooraf trainen van zachte-contrastieve actiegestuurde zin-embeddings voor het automatisch extraheren van dialogflow.

Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction

October 24, 2024

Auteurs: Sergio Burdisso, Srikanth Madikeri, Petr Motlicek

cs.AI

Samenvatting

Het efficiënt afleiden van gestructureerde workflows uit ongeannoteerde dialogen blijft een onderbelicht en formidabel uitdaging in de computationele taalkunde. Het automatiseren van dit proces kan aanzienlijk bijdragen aan het versnellen van het handmatig ontwerpen van workflows in nieuwe domeinen en het mogelijk maken van de verankering van grote taalmodellen in domeinspecifieke stroomdiagrammen, wat de transparantie en controleerbaarheid verbetert. In dit artikel introduceren we Dialog2Flow (D2F) embeddings, die verschillen van conventionele zin-embeddings door uitingen te mappen naar een latente ruimte waar ze worden gegroepeerd op basis van hun communicatieve en informatieve functies (d.w.z. de acties die ze vertegenwoordigen). D2F maakt het modelleren van dialogen mogelijk als continue trajecten in een latente ruimte met onderscheidende actiegerelateerde regio's. Door D2F-embeddings te clusteren, wordt de latente ruimte gekwantificeerd en kunnen dialogen worden omgezet in sequenties van regio-/actie-ID's, wat de extractie van de onderliggende workflow vergemakkelijkt. Om D2F vooraf te trainen, bouwen we een uitgebreide dataset door twintig taakgerichte dialogdatasets te verenigen met genormaliseerde actie-annotaties per beurt. We introduceren ook een nieuwe zachte contrastieve verliesfunctie die de semantische informatie van deze acties benut om het leerproces van de representatie te begeleiden, waarbij een superieure prestatie wordt aangetoond in vergelijking met de standaard begeleide contrastieve verliesfunctie. Evaluatie tegen verschillende zin-embeddings, inclusief dialog-specifieke, toont aan dat D2F superieure kwalitatieve en kwantitatieve resultaten oplevert over diverse domeinen.

English

Efficiently deriving structured workflows from unannotated dialogs remains an underexplored and formidable challenge in computational linguistics. Automating this process could significantly accelerate the manual design of workflows in new domains and enable the grounding of large language models in domain-specific flowcharts, enhancing transparency and controllability. In this paper, we introduce Dialog2Flow (D2F) embeddings, which differ from conventional sentence embeddings by mapping utterances to a latent space where they are grouped according to their communicative and informative functions (i.e., the actions they represent). D2F allows for modeling dialogs as continuous trajectories in a latent space with distinct action-related regions. By clustering D2F embeddings, the latent space is quantized, and dialogs can be converted into sequences of region/action IDs, facilitating the extraction of the underlying workflow. To pre-train D2F, we build a comprehensive dataset by unifying twenty task-oriented dialog datasets with normalized per-turn action annotations. We also introduce a novel soft contrastive loss that leverages the semantic information of these actions to guide the representation learning process, showing superior performance compared to standard supervised contrastive loss. Evaluation against various sentence embeddings, including dialog-specific ones, demonstrates that D2F yields superior qualitative and quantitative results across diverse domains.