I dati sintetici fittizi possono migliorare la factualità del LLM tramite apprendimento preliminare.

Fictitious Synthetic Data Can Improve LLM Factuality via Prerequisite Learning

October 25, 2024

Autori: Yujian Liu, Shiyu Chang, Tommi Jaakkola, Yang Zhang

cs.AI

Abstract

Studi recenti hanno identificato un fattore aggravante delle allucinazioni di LLM come l'incoerenza della conoscenza tra la preformazione e il raffinamento, dove dati di raffinamento sconosciuti inducono il LLM a creare output plausibili ma errati. In questo articolo, proponiamo una nuova strategia di raffinamento chiamata Prereq-Tune per affrontare questa incoerenza della conoscenza e ridurre le allucinazioni. Fondamentalmente, Prereq-Tune separa l'apprendimento delle abilità e della conoscenza, in modo che il modello impari solo le abilità del compito senza essere influenzato dall'incoerenza della conoscenza. Per raggiungere questo obiettivo, Prereq-Tune introduce una fase di apprendimento preliminare aggiuntiva per acquisire la conoscenza necessaria per SFT, consentendo al successivo SFT di concentrarsi solo sulle abilità del compito. Prereq-Tune può anche essere combinato con dati sintetici fittizi per potenziare il radicamento degli output di LLM alla loro conoscenza interna. Gli esperimenti mostrano che Prereq-Tune supera i baselines esistenti nel migliorare la factualità di LLM attraverso compiti di domande e risposte brevi e generazione di testi di lunghezza maggiore. Apre inoltre nuove possibilità per la generazione controllata dalla conoscenza in LLM. Il nostro codice è disponibile su https://github.com/UCSB-NLP-Chang/Prereq_tune.git.

English

Recent studies have identified one aggravating factor of LLM hallucinations as the knowledge inconsistency between pre-training and fine-tuning, where unfamiliar fine-tuning data mislead the LLM to fabricate plausible but wrong outputs. In this paper, we propose a novel fine-tuning strategy called Prereq-Tune to address this knowledge inconsistency and reduce hallucinations. Fundamentally, Prereq-Tune disentangles the learning of skills and knowledge, so the model learns only the task skills without being impacted by the knowledge inconsistency. To achieve this, Prereq-Tune introduces an additional prerequisite learning stage to learn the necessary knowledge for SFT, allowing subsequent SFT to focus only on task skills. Prereq-Tune can also be combined with fictitious synthetic data to enhance the grounding of LLM outputs to their internal knowledge. Experiments show that Prereq-Tune outperforms existing baselines in improving LLM's factuality across short QA and long-form generation tasks. It also opens new possibilities for knowledge-controlled generation in LLMs. Our code is available at https://github.com/UCSB-NLP-Chang/Prereq_tune.git.