Het ontcijferen van donkere materie: Gespecialiseerde Schaarse Auto-encoders voor het interpreteren van zeldzame concepten in basismodellen.

Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models

November 1, 2024

Auteurs: Aashiq Muhamed, Mona Diab, Virginia Smith

cs.AI

Samenvatting

Het begrijpen en beperken van de potentiële risico's die gepaard gaan met foundation modellen (FMs) is afhankelijk van het ontwikkelen van effectieve interpreteerbaarheidsmethoden. Schaarse Auto-encoders (SAEs) zijn naar voren gekomen als een veelbelovend instrument voor het ontwarren van FM representaties, maar ze hebben moeite om zeldzame, maar cruciale concepten in de data vast te leggen. Wij introduceren Gespecialiseerde Schaarste Auto-encoders (SSAEs), ontworpen om deze ongrijpbare donkere materie kenmerken te verhelderen door zich te richten op specifieke subdomeinen. Wij presenteren een praktisch recept voor het trainen van SSAEs, waarbij de doeltreffendheid van dichte ophaling voor gegevensselectie en de voordelen van Gehelde Empirische Risico-minimalisatie als trainingsdoel worden aangetoond om concept recall te verbeteren. Onze evaluatie van SSAEs op standaard metrieken, zoals downstream perplexiteit en L_0 schaarsheid, toont aan dat ze effectief subdomein staartconcepten vastleggen, waarbij ze de mogelijkheden van algemene SAEs overtreffen. Wij tonen de praktische bruikbaarheid van SSAEs aan in een casestudie over de Bias in Bios dataset, waar SSAEs een toename van 12,5% in nauwkeurigheid van de classificatie van de slechtst presterende groep bereiken wanneer ze worden toegepast om onjuiste genderinformatie te verwijderen. SSAEs bieden een krachtige nieuwe lens om in de interne werking van FMs in subdomeinen te kijken.

English

Understanding and mitigating the potential risks associated with foundation models (FMs) hinges on developing effective interpretability methods. Sparse Autoencoders (SAEs) have emerged as a promising tool for disentangling FM representations, but they struggle to capture rare, yet crucial concepts in the data. We introduce Specialized Sparse Autoencoders (SSAEs), designed to illuminate these elusive dark matter features by focusing on specific subdomains. We present a practical recipe for training SSAEs, demonstrating the efficacy of dense retrieval for data selection and the benefits of Tilted Empirical Risk Minimization as a training objective to improve concept recall. Our evaluation of SSAEs on standard metrics, such as downstream perplexity and L_0 sparsity, show that they effectively capture subdomain tail concepts, exceeding the capabilities of general-purpose SAEs. We showcase the practical utility of SSAEs in a case study on the Bias in Bios dataset, where SSAEs achieve a 12.5\% increase in worst-group classification accuracy when applied to remove spurious gender information. SSAEs provide a powerful new lens for peering into the inner workings of FMs in subdomains.