Исследование подходов к переписыванию для различных задач в диалоговых системах

Exploring Rewriting Approaches for Different Conversational Tasks

February 26, 2025

Авторы: Md Mehrab Tanjim, Ryan A. Rossi, Mike Rimer, Xiang Chen, Sungchul Kim, Vaishnavi Muppala, Tong Yu, Zhengmian Hu, Ritwik Sinha, Wei Zhang, Iftikhar Ahamath Burhanuddin, Franck Dernoncourt

cs.AI

Аннотация

Диалоговые помощники часто требуют алгоритма переформулирования вопросов, который использует подмножество прошлых взаимодействий для предоставления более содержательного (точного) ответа на вопрос или запрос пользователя. Однако конкретный подход к переформулированию часто может зависеть от варианта использования и задач, специфичных для приложения, поддерживаемого диалоговым помощником, а также от других ограничений. В данной работе мы систематически исследуем два различных подхода, обозначенных как переформулирование и слияние, на двух принципиально разных задачах генерации, включая задачу генерации текста на основе текста и мультимодальную задачу генерации, которая принимает на вход текст и создает визуализацию или таблицу данных, отвечающую на вопрос пользователя. Наши результаты показывают, что выбор конкретного подхода к переформулированию или слиянию сильно зависит от базового варианта использования и задачи генерации. В частности, мы обнаруживаем, что для диалогового помощника, отвечающего на вопросы, подход к переформулированию запроса работает лучше всего, тогда как для помощника по анализу данных, который генерирует визуализации и таблицы данных на основе диалога пользователя с помощником, лучше всего подходит подход слияния. Примечательно, что мы исследуем два набора данных для варианта использования помощника по анализу данных — для коротких и длинных диалогов — и обнаруживаем, что слияние запросов всегда работает лучше, тогда как для текстового диалогового помощника, отвечающего на вопросы, подход к переформулированию запроса оказывается наиболее эффективным.

English

Conversational assistants often require a question rewriting algorithm that leverages a subset of past interactions to provide a more meaningful (accurate) answer to the user's question or request. However, the exact rewriting approach may often depend on the use case and application-specific tasks supported by the conversational assistant, among other constraints. In this paper, we systematically investigate two different approaches, denoted as rewriting and fusion, on two fundamentally different generation tasks, including a text-to-text generation task and a multimodal generative task that takes as input text and generates a visualization or data table that answers the user's question. Our results indicate that the specific rewriting or fusion approach highly depends on the underlying use case and generative task. In particular, we find that for a conversational question-answering assistant, the query rewriting approach performs best, whereas for a data analysis assistant that generates visualizations and data tables based on the user's conversation with the assistant, the fusion approach works best. Notably, we explore two datasets for the data analysis assistant use case, for short and long conversations, and we find that query fusion always performs better, whereas for the conversational text-based question-answering, the query rewrite approach performs best.