긴 문맥의 질의 중심 요약을 위한 비정형 증거 귀속

Unstructured Evidence Attribution for Long Context Query Focused Summarization

February 20, 2025

저자: Dustin Wright, Zain Muhammad Mujahid, Lu Wang, Isabelle Augenstein, David Jurgens

cs.AI

초록

대규모 언어 모델(LLMs)은 사용자 질의가 주어졌을 때 매우 긴 문맥에서도 일관된 요약을 생성할 수 있는 능력을 갖추고 있습니다. 이러한 요약의 투명성과 신뢰성을 높이기 위해 증거 범위를 추출하고 적절히 인용하는 것이 도움이 될 수 있습니다. 동시에, LLMs는 이해하고 주의를 기울이는 정보에 있어 위치적 편향을 겪을 수 있으며, 이는 증거 인용에 영향을 미칠 수 있습니다. 기존 연구는 미리 정의된 세분화 수준(예: 문장, 단락, 문서 등)을 기준으로 증거 인용에 초점을 맞추었던 반면, 우리는 비정형 증거 인용을 포함한 장문 문맥 질의 중심 요약 작업을 제안합니다. 우리는 기존 시스템들이 문맥에서 비정형 증거를 생성하고 적절히 인용하는 데 어려움을 겪으며, 증거가 "중간에서 소실"되는 경향이 있음을 보여줍니다. 이를 완화하기 위해, 우리는 Summaries with Unstructured Evidence Text(SUnsET) 데이터셋을 생성했습니다. 이는 새로운 도메인-불가지론적 파이프라인을 사용하여 생성된 합성 데이터셋으로, LLMs가 이 작업에 적응하도록 지도하는 데 사용될 수 있습니다. 우리는 다양한 크기의 5개 LLMs와 다양한 문서 유형 및 길이를 가진 4개 데이터셋을 통해, SUnsET 데이터로 적응된 LLMs가 기본 모델보다 더 관련성 있고 사실적으로 일관된 증거를 생성하며, 문맥 내에서 더 다양한 위치에서 증거를 추출하고, 더 관련성 있고 일관된 요약을 생성할 수 있음을 입증했습니다.

English

Large language models (LLMs) are capable of generating coherent summaries from very long contexts given a user query. Extracting and properly citing evidence spans could help improve the transparency and reliability of these summaries. At the same time, LLMs suffer from positional biases in terms of which information they understand and attend to, which could affect evidence citation. Whereas previous work has focused on evidence citation with predefined levels of granularity (e.g. sentence, paragraph, document, etc.), we propose the task of long-context query focused summarization with unstructured evidence citation. We show how existing systems struggle to generate and properly cite unstructured evidence from their context, and that evidence tends to be "lost-in-the-middle". To help mitigate this, we create the Summaries with Unstructured Evidence Text dataset (SUnsET), a synthetic dataset generated using a novel domain-agnostic pipeline which can be used as supervision to adapt LLMs to this task. We demonstrate across 5 LLMs of different sizes and 4 datasets with varying document types and lengths that LLMs adapted with SUnsET data generate more relevant and factually consistent evidence than their base models, extract evidence from more diverse locations in their context, and can generate more relevant and consistent summaries.