CaKE: Schaltkreisbewusstes Bearbeiten ermöglicht generalisierbare Wissenslerner

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

March 20, 2025

Autoren: Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

cs.AI

Zusammenfassung

Knowledge Editing (KE) ermöglicht die Modifikation veralteter oder falscher Informationen in großen Sprachmodellen (LLMs). Während bestehende KE-Methoden isolierte Fakten aktualisieren können, haben sie Schwierigkeiten, diese Aktualisierungen auf Multi-Hop-Schlussfolgerungsaufgaben zu verallgemeinern, die von den modifizierten Informationen abhängen. Durch eine Analyse von Reasoning Circuits – den neuronalen Pfaden, die LLMs für wissensbasierte Inferenz nutzen – beobachten wir, dass aktuelle, auf einzelne Schichten beschränkte KE-Ansätze wie MEMIT und WISE, die nur einzelne oder wenige Modellschichten bearbeiten, Schwierigkeiten haben, aktualisierte Informationen effektiv in diese Reasoning-Pfade zu integrieren. Um diese Einschränkung zu überwinden, schlagen wir CaKE (Circuit-aware Knowledge Editing) vor, eine neuartige Methode, die eine effektivere Integration aktualisierten Wissens in LLMs ermöglicht. CaKE nutzt strategisch kuratierte Daten, die durch unsere Circuit-basierte Analyse geleitet werden und das Modell dazu anregen, das modifizierte Wissen zu verwenden, wodurch es angeregt wird, geeignete Reasoning Circuits für neu integriertes Wissen zu entwickeln. Experimentelle Ergebnisse zeigen, dass CaKE eine genauere und konsistentere Nutzung aktualisierten Wissens über verwandte Schlussfolgerungsaufgaben hinweg ermöglicht, was zu einer durchschnittlichen Verbesserung der Multi-Hop-Schlussfolgerungsgenauigkeit um 20 % auf dem MQuAKE-Datensatz im Vergleich zu bestehenden KE-Methoden führt. Wir veröffentlichen den Code und die Daten unter https://github.com/zjunlp/CaKE.

English

Knowledge Editing (KE) enables the modification of outdated or incorrect information in large language models (LLMs). While existing KE methods can update isolated facts, they struggle to generalize these updates to multi-hop reasoning tasks that depend on the modified knowledge. Through an analysis of reasoning circuits -- the neural pathways LLMs use for knowledge-based inference, we observe that current layer-localized KE approaches, such as MEMIT and WISE, which edit only single or a few model layers, struggle to effectively incorporate updated information into these reasoning pathways. To address this limitation, we propose CaKE (Circuit-aware Knowledge Editing), a novel method that enables more effective integration of updated knowledge in LLMs. CaKE leverages strategically curated data, guided by our circuits-based analysis, that enforces the model to utilize the modified knowledge, stimulating the model to develop appropriate reasoning circuits for newly integrated knowledge. Experimental results show that CaKE enables more accurate and consistent use of updated knowledge across related reasoning tasks, leading to an average of 20% improvement in multi-hop reasoning accuracy on MQuAKE dataset compared to existing KE methods. We release the code and data in https://github.com/zjunlp/CaKE.