Fictieve synthetische data kunnen de feitelijkheid van LLM verbeteren via voorafgaand leren.

Fictitious Synthetic Data Can Improve LLM Factuality via Prerequisite Learning

October 25, 2024

Auteurs: Yujian Liu, Shiyu Chang, Tommi Jaakkola, Yang Zhang

cs.AI

Samenvatting

Recente studies hebben één verergerende factor van LLM-hallucinaties geïdentificeerd als de kennisinconsistentie tussen voorafgaande training en fijnafstemming, waar onbekende fijnafstemmingsgegevens de LLM misleiden om plausibele maar onjuiste resultaten te produceren. In dit artikel stellen we een nieuwe fijnafstemmingsstrategie voor genaamd Prereq-Tune om deze kennisinconsistentie aan te pakken en hallucinaties te verminderen. Fundamenteel gezien ontrafelt Prereq-Tune het leren van vaardigheden en kennis, zodat het model alleen de taakvaardigheden leert zonder beïnvloed te worden door de kennisinconsistentie. Om dit te bereiken, introduceert Prereq-Tune een aanvullende voorwaardelijke leerfase om de noodzakelijke kennis voor SFT te leren, waardoor daaropvolgende SFT zich alleen kan richten op taakvaardigheden. Prereq-Tune kan ook gecombineerd worden met fictieve synthetische gegevens om de verankering van LLM-resultaten aan hun interne kennis te verbeteren. Experimenten tonen aan dat Prereq-Tune bestaande baselines overtreft in het verbeteren van de feitelijkheid van LLM's bij korte QA en langere generatietaken. Het opent ook nieuwe mogelijkheden voor door kennis gecontroleerde generatie in LLM's. Onze code is beschikbaar op https://github.com/UCSB-NLP-Chang/Prereq_tune.git.

English

Recent studies have identified one aggravating factor of LLM hallucinations as the knowledge inconsistency between pre-training and fine-tuning, where unfamiliar fine-tuning data mislead the LLM to fabricate plausible but wrong outputs. In this paper, we propose a novel fine-tuning strategy called Prereq-Tune to address this knowledge inconsistency and reduce hallucinations. Fundamentally, Prereq-Tune disentangles the learning of skills and knowledge, so the model learns only the task skills without being impacted by the knowledge inconsistency. To achieve this, Prereq-Tune introduces an additional prerequisite learning stage to learn the necessary knowledge for SFT, allowing subsequent SFT to focus only on task skills. Prereq-Tune can also be combined with fictitious synthetic data to enhance the grounding of LLM outputs to their internal knowledge. Experiments show that Prereq-Tune outperforms existing baselines in improving LLM's factuality across short QA and long-form generation tasks. It also opens new possibilities for knowledge-controlled generation in LLMs. Our code is available at https://github.com/UCSB-NLP-Chang/Prereq_tune.git.