HALoGEN: 素晴らしいLLM幻覚とその発生源

HALoGEN: Fantastic LLM Hallucinations and Where to Find Them

January 14, 2025

著者: Abhilasha Ravichander, Shrusti Ghela, David Wadden, Yejin Choi

cs.AI

要旨

高品質で流暢なテキストを生成する能力にもかかわらず、生成的大規模言語モデル（LLMs）は幻覚も生み出します。つまり、確立された世界知識や提供された文脈と一致しない文が生成されることです。ただし、幻覚を測定することは困難であり、モデル生成物をリアルタイムで人間が検証することは費用がかかり時間がかかります。本研究では、HALoGENという包括的な幻覚ベンチマークを公開します。これには、（1）プログラミング、科学的帰属、要約など9つの領域にわたる生成モデル向けの10,923のプロンプト、および（2）各ユースケースに対する自動高精度検証ツールが含まれます。このツールはLLMの生成物を原子単位に分解し、各単位を高品質な知識源と照合します。私たちはこのフレームワークを使用して、14の言語モデルから約150,000の生成物を評価し、最も性能の良いモデルでも幻覚が多く見られることを発見しました（ドメインによっては生成された原子的事実の86％まで）。さらに、LLMの幻覚について、トレーニングデータの誤った記憶に起因する可能性があるか（Type Aエラー）、トレーニングデータの誤った知識に起因するか（Type Bエラー）、または捏造であるか（Type Cエラー）に基づいた新しいエラー分類を定義しています。私たちは、このフレームワークが、生成モデルがなぜ幻覚を見るのかを原則的に研究する基盤を提供し、信頼性の高い大規模言語モデルの開発を進めることを期待しています。

English

Despite their impressive ability to generate high-quality and fluent text, generative large language models (LLMs) also produce hallucinations: statements that are misaligned with established world knowledge or provided input context. However, measuring hallucination can be challenging, as having humans verify model generations on-the-fly is both expensive and time-consuming. In this work, we release HALoGEN, a comprehensive hallucination benchmark consisting of: (1) 10,923 prompts for generative models spanning nine domains including programming, scientific attribution, and summarization, and (2) automatic high-precision verifiers for each use case that decompose LLM generations into atomic units, and verify each unit against a high-quality knowledge source. We use this framework to evaluate ~150,000 generations from 14 language models, finding that even the best-performing models are riddled with hallucinations (sometimes up to 86% of generated atomic facts depending on the domain). We further define a novel error classification for LLM hallucinations based on whether they likely stem from incorrect recollection of training data (Type A errors), or incorrect knowledge in training data (Type B errors), or are fabrication (Type C errors). We hope our framework provides a foundation to enable the principled study of why generative models hallucinate, and advances the development of trustworthy large language models.