BordIRlines: 교차언어 검색 증강 생성 평가를 위한 데이터셋

BordIRlines: A Dataset for Evaluating Cross-lingual Retrieval-Augmented Generation

October 2, 2024

저자: Bryan Li, Samar Haider, Fiona Luo, Adwait Agashe, Chris Callison-Burch

cs.AI

초록

대형 언어 모델은 창의적 생성에서 뛰어나지만 환각과 편향 문제에 여전히 어려움을 겪고 있습니다. 검색 보강 생성(RAG)은 LLMs의 응답을 정확하고 최신 정보에 근거로 하는 프레임워크를 제공하지만, 여전히 편향 문제를 제기합니다: 어떤 소스가 문맥에 포함되어야 하는지? 그리고 그들의 중요성을 어떻게 가중시켜야 하는지? 본 논문에서는 다국어 RAG의 과제를 연구하고 언어, 문화, 정치적 경계가 교차하는 지역에서 발생하는 지리적 분쟁에 대한 쿼리에 대한 기존 시스템의 견고성을 조사하기 위한 데이터셋을 제시합니다. 우리의 데이터셋은 주어진 쿼리에 관련 정보를 포함하는 위키피디아 페이지에서 수집되었으며, 추가적인 문맥의 포함 및 이 문맥의 언어 및 소스 구성이 LLM의 응답에 미치는 영향을 조사합니다. 결과는 기존 RAG 시스템이 다국어 사용 사례에 대해 여전히 도전을 겪고 있으며 여러 언어로 제공되는 경쟁 정보에 대응할 때 일관성 부족으로 인해 고통받고 있음을 보여줍니다. 이 문제를 설명하기 위해 사례 연구를 제시하고, 미래 연구를 위한 단계를 개요로 제시합니다. 데이터셋과 코드는 https://github.com/manestay/bordIRlines에서 공개적으로 제공됩니다.

English

Large language models excel at creative generation but continue to struggle with the issues of hallucination and bias. While retrieval-augmented generation (RAG) provides a framework for grounding LLMs' responses in accurate and up-to-date information, it still raises the question of bias: which sources should be selected for inclusion in the context? And how should their importance be weighted? In this paper, we study the challenge of cross-lingual RAG and present a dataset to investigate the robustness of existing systems at answering queries about geopolitical disputes, which exist at the intersection of linguistic, cultural, and political boundaries. Our dataset is sourced from Wikipedia pages containing information relevant to the given queries and we investigate the impact of including additional context, as well as the composition of this context in terms of language and source, on an LLM's response. Our results show that existing RAG systems continue to be challenged by cross-lingual use cases and suffer from a lack of consistency when they are provided with competing information in multiple languages. We present case studies to illustrate these issues and outline steps for future research to address these challenges. We make our dataset and code publicly available at https://github.com/manestay/bordIRlines.