Guider les comportements de sélection des connaissances dans les LLM via l'ingénierie de représentation basée sur SAE.

Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering

October 21, 2024

Auteurs: Yu Zhao, Alessio Devoto, Giwon Hong, Xiaotang Du, Aryo Pradipta Gema, Hongru Wang, Kam-Fai Wong, Pasquale Minervini

cs.AI

Résumé

Les grands modèles de langage (LLM) peuvent stocker une quantité significative de connaissances factuelles dans leurs paramètres. Cependant, leurs connaissances paramétriques peuvent entrer en conflit avec les informations fournies dans le contexte -- ce phénomène, connu sous le nom de conflits de connaissances entre mémoire et contexte, peut entraîner un comportement indésirable du modèle, tel que la dépendance à des informations obsolètes ou incorrectes. En analysant les activations internes des LLM, nous constatons qu'ils peuvent enregistrer internement les signaux de conflit de connaissances au niveau des couches intermédiaires. Ces signaux nous permettent de détecter si un conflit de connaissances se produit et d'utiliser des stratégies d'intervention au moment de l'inférence pour le résoudre. Dans ce travail, nous proposons SpARE, une méthode d'ingénierie de représentation sans entraînement qui utilise des auto-encodeurs clairsemés (SAE) pré-entraînés pour contrôler le comportement de sélection des connaissances des LLM. SpARE identifie les caractéristiques fonctionnelles qui contrôlent les comportements de sélection des connaissances et les applique pour éditer les activations internes des LLM au moment de l'inférence. Nos résultats expérimentaux montrent que SpARE peut contrôler efficacement l'utilisation de l'une ou l'autre source de connaissances pour résoudre les conflits de connaissances dans des tâches de questions-réponses en domaine ouvert, dépassant les méthodes d'ingénierie de représentation existantes (+10%) ainsi que les méthodes de décodage contrastif (+15%).

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context -- this phenomenon, known as context-memory knowledge conflicts, can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. Analysing the internal activations of LLMs, we find that they can internally register the signals of knowledge conflict at mid-layers. Such signals allow us to detect whether a knowledge conflict occurs and use inference-time intervention strategies to resolve it. In this work, we propose SpARE, a training-free representation engineering method that uses pre-trained sparse auto-encoders (SAEs) to control the knowledge selection behaviour of LLMs. SpARE identifies the functional features that control the knowledge selection behaviours and applies them to edit the internal activations of LLMs at inference time. Our experimental results show that SpARE can effectively control the usage of either knowledge source to resolve knowledge conflict in open-domain question-answering tasks, surpassing existing representation engineering methods (+10%) as well as contrastive decoding methods (+15%).