Analyse des Reststroms von Sprachmodellen bei Wissenskonflikten

Analysing the Residual Stream of Language Models Under Knowledge Conflicts

October 21, 2024

Autoren: Yu Zhao, Xiaotang Du, Giwon Hong, Aryo Pradipta Gema, Alessio Devoto, Hongru Wang, Xuanli He, Kam-Fai Wong, Pasquale Minervini

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) können eine signifikante Menge an Faktenwissen in ihren Parametern speichern. Jedoch kann ihr parametrisches Wissen im Widerspruch zu den Informationen stehen, die im Kontext bereitgestellt werden. Solche Konflikte können zu unerwünschtem Modellverhalten führen, wie der Abhängigkeit von veralteten oder inkorrekten Informationen. In dieser Arbeit untersuchen wir, ob LLMs Wissenskonflikte identifizieren können und ob es möglich ist zu wissen, auf welcher Wissensquelle das Modell zurückgreifen wird, indem wir den Reststrom des LLM analysieren. Durch Sondierungsaufgaben stellen wir fest, dass LLMs intern das Signal von Wissenskonflikten im Reststrom registrieren können, was durch die Sondierung der Zwischenaktivierungen des Modells genau erkannt werden kann. Dies ermöglicht es uns, Konflikte im Reststrom zu erkennen, bevor Antworten generiert werden, ohne die Eingabe oder Modellparameter zu ändern. Darüber hinaus stellen wir fest, dass der Reststrom deutlich unterschiedliche Muster zeigt, wenn das Modell auf kontextuelles Wissen im Vergleich zu parametrischem Wissen zurückgreift, um Konflikte zu lösen. Dieses Muster kann verwendet werden, um das Verhalten von LLMs abzuschätzen, wenn Konflikte auftreten, und unerwartete Antworten zu verhindern, bevor Antworten erzeugt werden. Unsere Analyse bietet Einblicke, wie LLMs intern Wissenskonflikte bewältigen und liefert eine Grundlage für die Entwicklung von Methoden zur Steuerung der Wissensauswahlprozesse.

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context. Such conflicts can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. In this work, we investigate whether LLMs can identify knowledge conflicts and whether it is possible to know which source of knowledge the model will rely on by analysing the residual stream of the LLM. Through probing tasks, we find that LLMs can internally register the signal of knowledge conflict in the residual stream, which can be accurately detected by probing the intermediate model activations. This allows us to detect conflicts within the residual stream before generating the answers without modifying the input or model parameters. Moreover, we find that the residual stream shows significantly different patterns when the model relies on contextual knowledge versus parametric knowledge to resolve conflicts. This pattern can be employed to estimate the behaviour of LLMs when conflict happens and prevent unexpected answers before producing the answers. Our analysis offers insights into how LLMs internally manage knowledge conflicts and provides a foundation for developing methods to control the knowledge selection processes.