Fiktive synthetische Daten können die Faktentreue von LLM durch vorheriges Lernen verbessern.

Fictitious Synthetic Data Can Improve LLM Factuality via Prerequisite Learning

October 25, 2024

Autoren: Yujian Liu, Shiyu Chang, Tommi Jaakkola, Yang Zhang

cs.AI

Zusammenfassung

Neueste Studien haben einen erschwerenden Faktor von LLM-Halluzinationen identifiziert: die Wissensinkonsistenz zwischen dem Vor-Training und dem Feinabstimmungsprozess, bei dem unbekannte Feinabstimmungsdaten den LLM dazu verleiten, plausible, aber falsche Ausgaben zu erzeugen. In diesem Paper schlagen wir eine neuartige Feinabstimmungsstrategie namens Prereq-Tune vor, um diese Wissensinkonsistenz anzugehen und Halluzinationen zu reduzieren. Grundsätzlich entwirrt Prereq-Tune das Erlernen von Fähigkeiten und Wissen, sodass das Modell nur die Aufgabenfähigkeiten lernt, ohne von der Wissensinkonsistenz beeinflusst zu werden. Um dies zu erreichen, führt Prereq-Tune eine zusätzliche Voraussetzungs-Lernphase ein, um das notwendige Wissen für die SFT zu erlernen, was es der anschließenden SFT ermöglicht, sich nur auf die Aufgabenfähigkeiten zu konzentrieren. Prereq-Tune kann auch mit fiktiven synthetischen Daten kombiniert werden, um die Verankerung der LLM-Ausgaben in ihrem internen Wissen zu verbessern. Experimente zeigen, dass Prereq-Tune bestehende Baselines bei der Verbesserung der Faktentreue des LLM bei kurzen QA- und Langform-Generierungsaufgaben übertrifft. Es eröffnet auch neue Möglichkeiten für die wissensgesteuerte Generierung in LLMs. Unser Code ist verfügbar unter https://github.com/UCSB-NLP-Chang/Prereq_tune.git.

English

Recent studies have identified one aggravating factor of LLM hallucinations as the knowledge inconsistency between pre-training and fine-tuning, where unfamiliar fine-tuning data mislead the LLM to fabricate plausible but wrong outputs. In this paper, we propose a novel fine-tuning strategy called Prereq-Tune to address this knowledge inconsistency and reduce hallucinations. Fundamentally, Prereq-Tune disentangles the learning of skills and knowledge, so the model learns only the task skills without being impacted by the knowledge inconsistency. To achieve this, Prereq-Tune introduces an additional prerequisite learning stage to learn the necessary knowledge for SFT, allowing subsequent SFT to focus only on task skills. Prereq-Tune can also be combined with fictitious synthetic data to enhance the grounding of LLM outputs to their internal knowledge. Experiments show that Prereq-Tune outperforms existing baselines in improving LLM's factuality across short QA and long-form generation tasks. It also opens new possibilities for knowledge-controlled generation in LLMs. Our code is available at https://github.com/UCSB-NLP-Chang/Prereq_tune.git.