Sturen van Kennisselectiegedrag in LLM's via SAE-gebaseerde Representatie-engineering

Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering

October 21, 2024

Auteurs: Yu Zhao, Alessio Devoto, Giwon Hong, Xiaotang Du, Aryo Pradipta Gema, Hongru Wang, Kam-Fai Wong, Pasquale Minervini

cs.AI

Samenvatting

Grote taalmodellen (LLM's) kunnen een aanzienlijke hoeveelheid feitelijke kennis opslaan in hun parameters. Echter, hun parametrische kennis kan in conflict komen met de informatie die wordt verstrekt in de context -- dit fenomeen, bekend als context-geheugen kennisconflicten, kan leiden tot ongewenst modelgedrag, zoals het vertrouwen op verouderde of onjuiste informatie. Door de interne activaties van LLM's te analyseren, vinden we dat ze intern de signalen van kennisconflicten kunnen registreren in de middelste lagen. Dergelijke signalen stellen ons in staat om te detecteren of een kennisconflict optreedt en om inferentie-tijd interventiestrategieën te gebruiken om het op te lossen. In dit werk stellen we SpARE voor, een trainingvrije representatie-engineeringmethode die pre-getrainde schaarse auto-encoders (SAE's) gebruikt om het kennisselectiegedrag van LLM's te controleren. SpARE identificeert de functionele kenmerken die het kennisselectiegedrag controleren en past deze toe om de interne activaties van LLM's te bewerken tijdens inferentie. Onze experimentele resultaten tonen aan dat SpARE effectief het gebruik van een van beide kennisbronnen kan controleren om kennisconflicten op te lossen in open-vraag-antwoordtaken, waarbij bestaande representatie-engineeringmethoden (+10%) en contrastieve decoderingsmethoden (+15%) worden overtroffen.

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context -- this phenomenon, known as context-memory knowledge conflicts, can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. Analysing the internal activations of LLMs, we find that they can internally register the signals of knowledge conflict at mid-layers. Such signals allow us to detect whether a knowledge conflict occurs and use inference-time intervention strategies to resolve it. In this work, we propose SpARE, a training-free representation engineering method that uses pre-trained sparse auto-encoders (SAEs) to control the knowledge selection behaviour of LLMs. SpARE identifies the functional features that control the knowledge selection behaviours and applies them to edit the internal activations of LLMs at inference time. Our experimental results show that SpARE can effectively control the usage of either knowledge source to resolve knowledge conflict in open-domain question-answering tasks, surpassing existing representation engineering methods (+10%) as well as contrastive decoding methods (+15%).