Analyse du flux résiduel des modèles de langage face aux conflits de connaissances

Analysing the Residual Stream of Language Models Under Knowledge Conflicts

October 21, 2024

Auteurs: Yu Zhao, Xiaotang Du, Giwon Hong, Aryo Pradipta Gema, Alessio Devoto, Hongru Wang, Xuanli He, Kam-Fai Wong, Pasquale Minervini

cs.AI

Résumé

Les grands modèles de langage (LLM) peuvent stocker une quantité significative de connaissances factuelles dans leurs paramètres. Cependant, leurs connaissances paramétriques peuvent entrer en conflit avec les informations fournies dans le contexte. De tels conflits peuvent entraîner un comportement indésirable du modèle, comme une dépendance à des informations obsolètes ou incorrectes. Dans ce travail, nous examinons si les LLM peuvent identifier les conflits de connaissances et s'il est possible de savoir sur quelle source de connaissances le modèle va s'appuyer en analysant le flux résiduel du LLM. À travers des tâches de sondage, nous constatons que les LLM peuvent enregistrer internement le signal de conflit de connaissances dans le flux résiduel, qui peut être détecté avec précision en sondant les activations intermédiaires du modèle. Cela nous permet de détecter les conflits au sein du flux résiduel avant de générer les réponses sans modifier l'entrée ou les paramètres du modèle. De plus, nous constatons que le flux résiduel montre des motifs significativement différents lorsque le modèle se base sur des connaissances contextuelles par rapport aux connaissances paramétriques pour résoudre les conflits. Ce motif peut être utilisé pour estimer le comportement des LLM lorsque des conflits surviennent et éviter des réponses inattendues avant de produire les réponses. Notre analyse offre des perspectives sur la manière dont les LLM gèrent internement les conflits de connaissances et fournit une base pour le développement de méthodes visant à contrôler les processus de sélection des connaissances.

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context. Such conflicts can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. In this work, we investigate whether LLMs can identify knowledge conflicts and whether it is possible to know which source of knowledge the model will rely on by analysing the residual stream of the LLM. Through probing tasks, we find that LLMs can internally register the signal of knowledge conflict in the residual stream, which can be accurately detected by probing the intermediate model activations. This allows us to detect conflicts within the residual stream before generating the answers without modifying the input or model parameters. Moreover, we find that the residual stream shows significantly different patterns when the model relies on contextual knowledge versus parametric knowledge to resolve conflicts. This pattern can be employed to estimate the behaviour of LLMs when conflict happens and prevent unexpected answers before producing the answers. Our analysis offers insights into how LLMs internally manage knowledge conflicts and provides a foundation for developing methods to control the knowledge selection processes.