Indirizzare i Comportamenti di Selezione della Conoscenza in LLM tramite l'Ingegneria della Rappresentazione basata su SAE.

Steering Knowledge Selection Behaviours in LLMs via SAE-Based Representation Engineering

October 21, 2024

Autori: Yu Zhao, Alessio Devoto, Giwon Hong, Xiaotang Du, Aryo Pradipta Gema, Hongru Wang, Kam-Fai Wong, Pasquale Minervini

cs.AI

Abstract

I grandi modelli linguistici (LLM) possono memorizzare una quantità significativa di conoscenze fattuali nei loro parametri. Tuttavia, le conoscenze parametriche potrebbero entrare in conflitto con le informazioni fornite nel contesto -- questo fenomeno, noto come conflitti di conoscenza tra contesto e memoria, può portare a comportamenti indesiderati del modello, come il ricorso a informazioni obsolete o errate. Analizzando le attivazioni interne dei LLM, abbiamo scoperto che possono registrare internamente i segnali di conflitto di conoscenza a livelli intermedi. Tali segnali ci consentono di rilevare se si verifica un conflitto di conoscenza e di utilizzare strategie di intervento durante l'inferenza per risolverlo. In questo lavoro, proponiamo SpARE, un metodo di ingegneria della rappresentazione senza addestramento che utilizza autoencoder sparsi pre-addestrati (SAE) per controllare il comportamento di selezione delle conoscenze dei LLM. SpARE identifica le caratteristiche funzionali che controllano i comportamenti di selezione delle conoscenze e le applica per modificare le attivazioni interne dei LLM durante l'inferenza. I nostri risultati sperimentali mostrano che SpARE può controllare efficacemente l'uso di una delle fonti di conoscenza per risolvere i conflitti di conoscenza in compiti di domande e risposte in un dominio aperto, superando i metodi esistenti di ingegneria della rappresentazione (+10%) così come i metodi di decodifica contrastiva (+15%).

English

Large language models (LLMs) can store a significant amount of factual knowledge in their parameters. However, their parametric knowledge may conflict with the information provided in the context -- this phenomenon, known as context-memory knowledge conflicts, can lead to undesirable model behaviour, such as reliance on outdated or incorrect information. Analysing the internal activations of LLMs, we find that they can internally register the signals of knowledge conflict at mid-layers. Such signals allow us to detect whether a knowledge conflict occurs and use inference-time intervention strategies to resolve it. In this work, we propose SpARE, a training-free representation engineering method that uses pre-trained sparse auto-encoders (SAEs) to control the knowledge selection behaviour of LLMs. SpARE identifies the functional features that control the knowledge selection behaviours and applies them to edit the internal activations of LLMs at inference time. Our experimental results show that SpARE can effectively control the usage of either knowledge source to resolve knowledge conflict in open-domain question-answering tasks, surpassing existing representation engineering methods (+10%) as well as contrastive decoding methods (+15%).