HALoGEN: Фантастические галлюцинации LLM и где их найти

HALoGEN: Fantastic LLM Hallucinations and Where to Find Them

January 14, 2025

Авторы: Abhilasha Ravichander, Shrusti Ghela, David Wadden, Yejin Choi

cs.AI

Аннотация

Несмотря на их впечатляющую способность генерировать текст высокого качества и свободно, генеративные большие языковые модели (LLM) также производят галлюцинации: утверждения, которые не соответствуют установленным знаниям о мире или предоставленному контексту ввода. Однако измерение галлюцинаций может быть вызовом, поскольку проверка модельных генераций людьми на лету является как дорогостоящей, так и времязатратной. В данной работе мы представляем HALoGEN, обширный бенчмарк галлюцинаций, включающий: (1) 10 923 подсказки для генеративных моделей, охватывающих девять областей, включая программирование, научную атрибуцию и суммаризацию, и (2) автоматические верификаторы высокой точности для каждого случая использования, которые декомпозируют генерации LLM на атомные единицы и проверяют каждую единицу по высококачественному источнику знаний. Мы используем эту структуру для оценки ~150 000 генераций от 14 языковых моделей, обнаруживая, что даже лучшие модели испытывают галлюцинации (иногда до 86% сгенерированных атомных фактов в зависимости от области). Мы также определяем новую классификацию ошибок для галлюцинаций LLM на основе того, вероятно ли они происходят от неправильного воспоминания обучающих данных (ошибки типа A), неправильных знаний в обучающих данных (ошибки типа B) или фабрикации (ошибки типа C). Мы надеемся, что наша структура обеспечит основу для осуществления принципиального изучения причин галлюцинаций генеративных моделей и способствует развитию надежных больших языковых моделей.

English

Despite their impressive ability to generate high-quality and fluent text, generative large language models (LLMs) also produce hallucinations: statements that are misaligned with established world knowledge or provided input context. However, measuring hallucination can be challenging, as having humans verify model generations on-the-fly is both expensive and time-consuming. In this work, we release HALoGEN, a comprehensive hallucination benchmark consisting of: (1) 10,923 prompts for generative models spanning nine domains including programming, scientific attribution, and summarization, and (2) automatic high-precision verifiers for each use case that decompose LLM generations into atomic units, and verify each unit against a high-quality knowledge source. We use this framework to evaluate ~150,000 generations from 14 language models, finding that even the best-performing models are riddled with hallucinations (sometimes up to 86% of generated atomic facts depending on the domain). We further define a novel error classification for LLM hallucinations based on whether they likely stem from incorrect recollection of training data (Type A errors), or incorrect knowledge in training data (Type B errors), or are fabrication (Type C errors). We hope our framework provides a foundation to enable the principled study of why generative models hallucinate, and advances the development of trustworthy large language models.