팩트어라인: 대규모 언어 모델의 장문 사실 일치

FactAlign: Long-form Factuality Alignment of Large Language Models

October 2, 2024

저자: Chao-Wei Huang, Yun-Nung Chen

cs.AI

초록

대형 언어 모델은 차세대 정보 액세스 엔진으로서 상당한 잠재력을 보여주었습니다. 그러나 그들의 신뢰성은 환각 및 비사실적인 콘텐츠 생성 문제로 인해 방해를 받습니다. 이는 특히 장문 형식의 응답에서 본질적 정확성을 평가하고 보장하는 것이 복잡한 경우에 문제가 됩니다. 본 논문에서는 LLMs의 장문 형식 응답의 사실성을 향상시키기 위해 설계된 혁신적인 정렬 프레임워크인 FactAlign을 제안하여 이 간극을 해소합니다. 우리는 KTO(Kahneman-Tversky Optimization) 정렬 방법을 확장한 세밀한, 문장 수준의 정렬 알고리즘인 fKTO를 소개합니다. 최근의 자동 사실성 평가의 발전을 활용하여, FactAlign은 세밀한 사실성 평가를 활용하여 정렬 프로세스를 안내합니다. 오픈 도메인 프롬프트와 정보 탐색 질문에 대한 실험 결과는 FactAlign이 LLM 응답의 사실적 정확성을 크게 향상시키는 동시에 그들의 유용성을 향상시킨다는 것을 보여줍니다. 추가 분석에서 FactAlign이 LLM에게 더 많은 정보를 제공하도록 훈련시킬 수 있어 사실적 정확성을 잃지 않고 사실적 F1 점수를 향상시킬 수 있다는 것을 확인했습니다. 우리의 소스 코드, 데이터셋 및 훈련된 모델은 https://github.com/MiuLab/FactAlign에서 공개적으로 제공됩니다.

English

Large language models have demonstrated significant potential as the next-generation information access engines. However, their reliability is hindered by issues of hallucination and generating non-factual content. This is particularly problematic in long-form responses, where assessing and ensuring factual accuracy is complex. In this paper, we address this gap by proposing FactAlign, a novel alignment framework designed to enhance the factuality of LLMs' long-form responses while maintaining their helpfulness. We introduce fKTO, a fine-grained, sentence-level alignment algorithm that extends the Kahneman-Tversky Optimization (KTO) alignment method. Leveraging recent advances in automatic factuality evaluation, FactAlign utilizes fine-grained factuality assessments to guide the alignment process. Our experiments on open-domain prompts and information-seeking questions demonstrate that FactAlign significantly improves the factual accuracy of LLM responses while also improving their helpfulness. Further analyses identify that FactAlign is capable of training LLMs to provide more information without losing factual precision, thus improving the factual F1 score. Our source code, datasets, and trained models are publicly available at https://github.com/MiuLab/FactAlign