Улучшение автоматизированной интерпретируемости с помощью описаний функций, сосредоточенных на выходе

Enhancing Automated Interpretability with Output-Centric Feature Descriptions

January 14, 2025

Авторы: Yoav Gur-Arieh, Roy Mayan, Chen Agassy, Atticus Geiger, Mor Geva

cs.AI

Аннотация

Автоматизированные конвейеры интерпретируемости генерируют описания на естественном языке для концепций, представленных признаками в больших языковых моделях (LLM), таких как растения или первое слово в предложении. Эти описания получаются с использованием входных данных, которые активируют признак, который может быть измерением или направлением в пространстве представления модели. Однако идентификация активирующих входов затратна, и механистическая роль признака в поведении модели определяется как тем, как входы вызывают активацию признака, так и тем, как активация признака влияет на выходы. Используя оценки управления, мы показываем, что текущие конвейеры предоставляют описания, которые не улавливают причинный эффект признака на выходы. Для исправления этого мы предлагаем эффективные методы, ориентированные на выход, для автоматической генерации описаний признаков. Эти методы используют токены с более высоким весом после стимуляции признака или токены с наивысшим весом после применения "размещения в словаре" напрямую к признаку. Наши описания, ориентированные на выход, лучше улавливают причинный эффект признака на выходы модели, чем описания, ориентированные на вход, но их комбинация приводит к лучшей производительности как при оценке входов, так и выходов. Наконец, мы показываем, что описания, ориентированные на выход, могут быть использованы для поиска входов, активизирующих признаки, которые ранее считались "мёртвыми".

English

Automated interpretability pipelines generate natural language descriptions for the concepts represented by features in large language models (LLMs), such as plants or the first word in a sentence. These descriptions are derived using inputs that activate the feature, which may be a dimension or a direction in the model's representation space. However, identifying activating inputs is costly, and the mechanistic role of a feature in model behavior is determined both by how inputs cause a feature to activate and by how feature activation affects outputs. Using steering evaluations, we reveal that current pipelines provide descriptions that fail to capture the causal effect of the feature on outputs. To fix this, we propose efficient, output-centric methods for automatically generating feature descriptions. These methods use the tokens weighted higher after feature stimulation or the highest weight tokens after applying the vocabulary "unembedding" head directly to the feature. Our output-centric descriptions better capture the causal effect of a feature on model outputs than input-centric descriptions, but combining the two leads to the best performance on both input and output evaluations. Lastly, we show that output-centric descriptions can be used to find inputs that activate features previously thought to be "dead".