О Реляционно-Специфичных Нейронах в Больших Языковых Моделях

On Relation-Specific Neurons in Large Language Models

February 24, 2025

Авторы: Yihong Liu, Runsheng Chen, Lea Hirlimann, Ahmad Dawar Hakimi, Mingyang Wang, Amir Hossein Kargaran, Sascha Rothe, François Yvon, Hinrich Schütze

cs.AI

Аннотация

В больших языковых моделях (LLM) определенные нейроны могут хранить различные куски знаний, полученных во время предварительного обучения. Хотя знания обычно представляют собой комбинацию отношений и сущностей, остается неясным, сосредотачиваются ли некоторые нейроны исключительно на самом отношении, независимо от какой-либо сущности. Мы предполагаем, что такие нейроны обнаруживают отношение во входном тексте и направляют генерацию, связанную с таким отношением. Для исследования этого мы изучаем семейство Llama-2 на выбранном наборе отношений с помощью метода, основанного на статистике. Наши эксперименты демонстрируют существование нейронов, специфичных для отношения. Мы измеряем эффект избирательного деактивирования кандидатных нейронов, специфичных для отношения r, на способность LLM обрабатывать (1) факты с отношением r и (2) факты с другим отношением r' не равным r. С учетом их способности кодировать информацию об отношении, мы представляем доказательства для следующих трех свойств нейронов, специфичных для отношения. (i) Нейронная кумулятивность. Нейроны для r обладают кумулятивным эффектом, так что деактивация большей части из них приводит к деградации большего количества фактов в r. (ii) Нейронная универсальность. Нейроны могут быть общими для нескольких тесно связанных, а также менее связанных отношений. Некоторые нейроны отношений переносятся через языки. (iii) Нейронное взаимодействие. Деактивация нейронов, специфичных для одного отношения, может улучшить производительность генерации LLM для фактов других отношений. Мы сделаем наш код общедоступным по адресу https://github.com/cisnlp/relation-specific-neurons.

English

In large language models (LLMs), certain neurons can store distinct pieces of knowledge learned during pretraining. While knowledge typically appears as a combination of relations and entities, it remains unclear whether some neurons focus on a relation itself -- independent of any entity. We hypothesize such neurons detect a relation in the input text and guide generation involving such a relation. To investigate this, we study the Llama-2 family on a chosen set of relations with a statistics-based method. Our experiments demonstrate the existence of relation-specific neurons. We measure the effect of selectively deactivating candidate neurons specific to relation r on the LLM's ability to handle (1) facts whose relation is r and (2) facts whose relation is a different relation r' neq r. With respect to their capacity for encoding relation information, we give evidence for the following three properties of relation-specific neurons. (i) Neuron cumulativity. The neurons for r present a cumulative effect so that deactivating a larger portion of them results in the degradation of more facts in r. (ii) Neuron versatility. Neurons can be shared across multiple closely related as well as less related relations. Some relation neurons transfer across languages. (iii) Neuron interference. Deactivating neurons specific to one relation can improve LLM generation performance for facts of other relations. We will make our code publicly available at https://github.com/cisnlp/relation-specific-neurons.