Analyse van de reststroom van taalmodellen bij kennisconflicten

Analysing the Residual Stream of Language Models Under Knowledge Conflicts

October 21, 2024

Auteurs: Yu Zhao, Xiaotang Du, Giwon Hong, Aryo Pradipta Gema, Alessio Devoto, Hongru Wang, Xuanli He, Kam-Fai Wong, Pasquale Minervini

cs.AI

Samenvatting

Grote taalmodellen (LLM's) kunnen een aanzienlijke hoeveelheid feitelijke kennis opslaan in hun parameters. Echter, hun parametrische kennis kan in conflict zijn met de informatie die wordt verstrekt in de context. Dergelijke conflicten kunnen leiden tot ongewenst modelgedrag, zoals het vertrouwen op verouderde of onjuiste informatie. In dit werk onderzoeken we of LLM's kennisconflicten kunnen identificeren en of het mogelijk is om te weten op welke bron van kennis het model zal vertrouwen door de reststroom van de LLM te analyseren. Via probingtaken vinden we dat LLM's intern het signaal van kennisconflict kunnen registreren in de reststroom, wat nauwkeurig kan worden gedetecteerd door de tussenliggende modelactivaties te onderzoeken. Dit stelt ons in staat om conflicten binnen de reststroom te detecteren voordat de antwoorden worden gegenereerd zonder de invoer of modelparameters aan te passen. Bovendien vinden we dat de reststroom aanzienlijk verschillende patronen vertoont wanneer het model vertrouwt op contextuele kennis versus parametrische kennis om conflicten op te lossen. Dit patroon kan worden gebruikt om het gedrag van LLM's te schatten wanneer er een conflict optreedt en om onverwachte antwoorden te voorkomen voordat de antwoorden worden geproduceerd. Onze analyse biedt inzicht in hoe LLM's intern kennisconflicten beheren en vormt een basis voor het ontwikkelen van methoden om de kennisselectieprocessen te controleren.

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context. Such conflicts can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. In this work, we investigate whether LLMs can identify knowledge conflicts and whether it is possible to know which source of knowledge the model will rely on by analysing the residual stream of the LLM. Through probing tasks, we find that LLMs can internally register the signal of knowledge conflict in the residual stream, which can be accurately detected by probing the intermediate model activations. This allows us to detect conflicts within the residual stream before generating the answers without modifying the input or model parameters. Moreover, we find that the residual stream shows significantly different patterns when the model relies on contextual knowledge versus parametric knowledge to resolve conflicts. This pattern can be employed to estimate the behaviour of LLMs when conflict happens and prevent unexpected answers before producing the answers. Our analysis offers insights into how LLMs internally manage knowledge conflicts and provides a foundation for developing methods to control the knowledge selection processes.