CORAL: Benchmarking van Multi-turn Conversational Retrieval-Augmentatie Generatie

CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation

October 30, 2024

Auteurs: Yiruo Cheng, Kelong Mao, Ziliang Zhao, Guanting Dong, Hongjin Qian, Yongkang Wu, Tetsuya Sakai, Ji-Rong Wen, Zhicheng Dou

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) is een krachtig paradigma geworden voor het verbeteren van grote taalmodellen (LLMs) door externe kennisopvraging. Ondanks de brede aandacht richt bestaand academisch onderzoek zich voornamelijk op single-turn RAG, wat een aanzienlijke lacune laat in het aanpakken van de complexiteiten van multi-turn gesprekken die worden aangetroffen in real-world toepassingen. Om deze kloof te overbruggen, introduceren we CORAL, een grootschalige benchmark ontworpen om RAG-systemen te beoordelen in realistische multi-turn conversatie-instellingen. CORAL omvat diverse informatiezoekende gesprekken die automatisch zijn afgeleid van Wikipedia en behandelt belangrijke uitdagingen zoals open-domein dekking, kennisintensiteit, vrije vorm reacties en onderwerpverschuivingen. Het ondersteunt drie kerntaken van conversational RAG: passage retrieval, response generation en citation labeling. We stellen een verenigd kader voor om verschillende conversational RAG-methoden te standaardiseren en voeren een uitgebreide evaluatie van deze methoden uit op CORAL, waarbij aanzienlijke mogelijkheden worden aangetoond voor het verbeteren van bestaande benaderingen.

English

Retrieval-Augmented Generation (RAG) has become a powerful paradigm for enhancing large language models (LLMs) through external knowledge retrieval. Despite its widespread attention, existing academic research predominantly focuses on single-turn RAG, leaving a significant gap in addressing the complexities of multi-turn conversations found in real-world applications. To bridge this gap, we introduce CORAL, a large-scale benchmark designed to assess RAG systems in realistic multi-turn conversational settings. CORAL includes diverse information-seeking conversations automatically derived from Wikipedia and tackles key challenges such as open-domain coverage, knowledge intensity, free-form responses, and topic shifts. It supports three core tasks of conversational RAG: passage retrieval, response generation, and citation labeling. We propose a unified framework to standardize various conversational RAG methods and conduct a comprehensive evaluation of these methods on CORAL, demonstrating substantial opportunities for improving existing approaches.