Lenkung von Wissensauswahlverhalten in LLMs durch SAE-basierte Repräsentationsentwicklung

Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering

October 21, 2024

Autoren: Yu Zhao, Alessio Devoto, Giwon Hong, Xiaotang Du, Aryo Pradipta Gema, Hongru Wang, Kam-Fai Wong, Pasquale Minervini

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) können eine bedeutende Menge an Faktenwissen in ihren Parametern speichern. Allerdings kann ihr parametrisches Wissen im Widerspruch zu den Informationen stehen, die im Kontext bereitgestellt werden - dieses Phänomen, bekannt als Konflikt zwischen Kontext- und Gedächtniswissen, kann zu unerwünschtem Modellverhalten führen, wie der Abhängigkeit von veralteten oder inkorrekten Informationen. Durch die Analyse der internen Aktivierungen von LLMs stellen wir fest, dass sie die Signale von Wissenskonflikten in mittleren Schichten intern registrieren können. Solche Signale ermöglichen es uns festzustellen, ob ein Wissenskonflikt auftritt, und Inverventionsstrategien zur Auflösung während der Inferenzzeit zu nutzen. In dieser Arbeit schlagen wir SpARE vor, eine trainingsfreie Repräsentations-Engineering-Methode, die vortrainierte Sparse Auto-Encoder (SAEs) verwendet, um das Wissensauswahlverhalten von LLMs zu steuern. SpARE identifiziert die funktionalen Merkmale, die das Wissensauswahlverhalten steuern, und wendet sie an, um die internen Aktivierungen von LLMs zur Inferenzzeit zu bearbeiten. Unsere experimentellen Ergebnisse zeigen, dass SpARE die Verwendung einer der Wissensquellen effektiv steuern kann, um Wissenskonflikte in offenen Frage-Antwort-Aufgaben zu lösen, wobei bestehende Repräsentations-Engineering-Methoden (+10%) sowie kontrastive Dekodierungsmethoden (+15%) übertroffen werden.

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context -- this phenomenon, known as context-memory knowledge conflicts, can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. Analysing the internal activations of LLMs, we find that they can internally register the signals of knowledge conflict at mid-layers. Such signals allow us to detect whether a knowledge conflict occurs and use inference-time intervention strategies to resolve it. In this work, we propose SpARE, a training-free representation engineering method that uses pre-trained sparse auto-encoders (SAEs) to control the knowledge selection behaviour of LLMs. SpARE identifies the functional features that control the knowledge selection behaviours and applies them to edit the internal activations of LLMs at inference time. Our experimental results show that SpARE can effectively control the usage of either knowledge source to resolve knowledge conflict in open-domain question-answering tasks, surpassing existing representation engineering methods (+10%) as well as contrastive decoding methods (+15%).