Entdeckung einflussreicher Neuronpfade in Vision Transformers

Discovering Influential Neuron Path in Vision Transformers

March 12, 2025

Autoren: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren

cs.AI

Zusammenfassung

Vision Transformer-Modelle zeigen immense Leistungsfähigkeit, bleiben jedoch für das menschliche Verständnis undurchsichtig, was Herausforderungen und Risiken für praktische Anwendungen mit sich bringt. Während frühere Forschungsarbeiten versucht haben, diese Modelle durch Eingabeattribution und Neuronrollenanalyse zu entschlüsseln, gab es eine bemerkenswerte Lücke in der Berücksichtigung von Ebeneninformationen und dem ganzheitlichen Pfad des Informationsflusses über die Ebenen hinweg. In diesem Artikel untersuchen wir die Bedeutung einflussreicher Neuronpfade innerhalb von Vision Transformern, wobei ein Neuronpfad eine Sequenz von Neuronen vom Modelleingang zum -ausgang darstellt, die den Modellschluss am stärksten beeinflusst. Wir schlagen zunächst ein gemeinsames Einflussmaß vor, um den Beitrag einer Gruppe von Neuronen zum Modellergebnis zu bewerten. Darüber hinaus bieten wir einen schichtenprogressiven Ansatz zur Lokalisierung von Neuronen an, der effizient das einflussreichste Neuron in jeder Ebene auswählt, um den entscheidenden Neuronpfad vom Eingang zum Ausgang innerhalb des Zielmodells zu entdecken. Unsere Experimente demonstrieren die Überlegenheit unserer Methode bei der Identifizierung des einflussreichsten Neuronpfads, entlang dem der Informationsfluss verläuft, gegenüber bestehenden Baseline-Lösungen. Zusätzlich zeigen die Neuronpfade, dass Vision Transformer spezifische innere Arbeitsmechanismen für die Verarbeitung visueller Informationen innerhalb derselben Bildkategorie aufweisen. Wir analysieren weiterhin die Schlüsseleffekte dieser Neuronen auf die Bildklassifikationsaufgabe und zeigen, dass die gefundenen Neuronpfade bereits die Modellfähigkeit für nachgelagerte Aufgaben bewahren, was auch Licht auf reale Anwendungen wie Modellbeschneidung werfen könnte. Die Projektwebsite inklusive Implementierungscode ist unter https://foundation-model-research.github.io/NeuronPath/ verfügbar.

English

Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.