Analisi del flusso residuo dei modelli linguistici in presenza di conflitti di conoscenza.

Analysing the Residual Stream of Language Models Under Knowledge Conflicts

October 21, 2024

Autori: Yu Zhao, Xiaotang Du, Giwon Hong, Aryo Pradipta Gema, Alessio Devoto, Hongru Wang, Xuanli He, Kam-Fai Wong, Pasquale Minervini

cs.AI

Abstract

I grandi modelli linguistici (LLM) possono memorizzare una quantità significativa di conoscenze fattuali nei loro parametri. Tuttavia, le conoscenze parametriche possono entrare in conflitto con le informazioni fornite nel contesto. Tali conflitti possono portare a comportamenti indesiderati del modello, come il ricorso a informazioni obsolete o errate. In questo lavoro, indaghiamo se i LLM possono identificare i conflitti di conoscenza e se è possibile sapere da quale fonte di conoscenza il modello si affiderà analizzando il flusso residuo del LLM. Attraverso compiti di esplorazione, scopriamo che i LLM possono registrare internamente il segnale di conflitto di conoscenza nel flusso residuo, che può essere rilevato con precisione esaminando le attivazioni del modello intermedio. Ciò ci consente di individuare i conflitti all'interno del flusso residuo prima di generare le risposte senza modificare l'input o i parametri del modello. Inoltre, scopriamo che il flusso residuo mostra modelli significativamente diversi quando il modello si affida a conoscenze contestuali rispetto a conoscenze parametriche per risolvere i conflitti. Questo modello può essere impiegato per stimare il comportamento dei LLM quando si verificano conflitti e prevenire risposte inaspettate prima di produrre le risposte. La nostra analisi offre spunti su come i LLM gestiscono internamente i conflitti di conoscenza e fornisce una base per lo sviluppo di metodi per controllare i processi di selezione delle conoscenze.

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context. Such conflicts can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. In this work, we investigate whether LLMs can identify knowledge conflicts and whether it is possible to know which source of knowledge the model will rely on by analysing the residual stream of the LLM. Through probing tasks, we find that LLMs can internally register the signal of knowledge conflict in the residual stream, which can be accurately detected by probing the intermediate model activations. This allows us to detect conflicts within the residual stream before generating the answers without modifying the input or model parameters. Moreover, we find that the residual stream shows significantly different patterns when the model relies on contextual knowledge versus parametric knowledge to resolve conflicts. This pattern can be employed to estimate the behaviour of LLMs when conflict happens and prevent unexpected answers before producing the answers. Our analysis offers insights into how LLMs internally manage knowledge conflicts and provides a foundation for developing methods to control the knowledge selection processes.