Aprimorando a Interpretabilidade Automatizada com Descrições de Características Centradas na Saída

Enhancing Automated Interpretability with Output-Centric Feature Descriptions

January 14, 2025

Autores: Yoav Gur-Arieh, Roy Mayan, Chen Agassy, Atticus Geiger, Mor Geva

cs.AI

Resumo

Os pipelines de interpretabilidade automatizada geram descrições em linguagem natural para os conceitos representados por características em grandes modelos de linguagem (LLMs), como plantas ou a primeira palavra em uma frase. Essas descrições são derivadas usando entradas que ativam a característica, que pode ser uma dimensão ou uma direção no espaço de representação do modelo. No entanto, identificar as entradas ativadoras é custoso, e o papel mecanicista de uma característica no comportamento do modelo é determinado tanto pelo modo como as entradas causam a ativação de uma característica quanto pelo modo como a ativação da característica afeta as saídas. Usando avaliações de direcionamento, revelamos que os pipelines atuais fornecem descrições que não capturam o efeito causal da característica nas saídas. Para corrigir isso, propomos métodos eficientes e centrados nas saídas para gerar automaticamente descrições de características. Esses métodos utilizam os tokens ponderados mais altos após a estimulação da característica ou os tokens de maior peso após a aplicação direta da cabeça de "desincorporação" do vocabulário à característica. Nossas descrições centradas nas saídas capturam melhor o efeito causal de uma característica nas saídas do modelo do que as descrições centradas nas entradas, mas a combinação das duas leva ao melhor desempenho em ambas as avaliações de entrada e saída. Por fim, demonstramos que as descrições centradas nas saídas podem ser usadas para encontrar entradas que ativam características anteriormente consideradas "inativas".

English

Automated interpretability pipelines generate natural language descriptions for the concepts represented by features in large language models (LLMs), such as plants or the first word in a sentence. These descriptions are derived using inputs that activate the feature, which may be a dimension or a direction in the model's representation space. However, identifying activating inputs is costly, and the mechanistic role of a feature in model behavior is determined both by how inputs cause a feature to activate and by how feature activation affects outputs. Using steering evaluations, we reveal that current pipelines provide descriptions that fail to capture the causal effect of the feature on outputs. To fix this, we propose efficient, output-centric methods for automatically generating feature descriptions. These methods use the tokens weighted higher after feature stimulation or the highest weight tokens after applying the vocabulary "unembedding" head directly to the feature. Our output-centric descriptions better capture the causal effect of a feature on model outputs than input-centric descriptions, but combining the two leads to the best performance on both input and output evaluations. Lastly, we show that output-centric descriptions can be used to find inputs that activate features previously thought to be "dead".