Entschlüsselung der Dunklen Materie: Spezialisierte Sparse Autoencoder zur Interpretation seltener Konzepte in Grundlagenmodellen

Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models

November 1, 2024

Autoren: Aashiq Muhamed, Mona Diab, Virginia Smith

cs.AI

Zusammenfassung

Das Verständnis und die Minderung der potenziellen Risiken, die mit Grundlagenmodellen (FMs) verbunden sind, hängen von der Entwicklung effektiver Interpretationsmethoden ab. Sparse Autoencoder (SAEs) haben sich als vielversprechendes Werkzeug zur Entflechtung von FM-Repräsentationen herausgestellt, kämpfen jedoch damit, seltene, aber entscheidende Konzepte in den Daten zu erfassen. Wir stellen Spezialisierte Sparse Autoencoder (SSAEs) vor, die darauf ausgelegt sind, diese schwer fassbaren "dunklen Materie"-Merkmale zu beleuchten, indem sie sich auf spezifische Subdomänen konzentrieren. Wir präsentieren ein praktisches Rezept zur Schulung von SSAEs, das die Wirksamkeit der dichten Rückgewinnung für die Datenauswahl und die Vorteile der geneigten empirischen Risikominimierung als Schulungsziel zur Verbesserung des Konzeptrückrufs zeigt. Unsere Bewertung von SSAEs anhand standardmäßiger Metriken wie nachgelagerter Perplexität und L_0-Spärlichkeit zeigt, dass sie effektiv subdomänenspezifische Randkonzepte erfassen und die Fähigkeiten von allgemeinen SAEs übertreffen. Wir präsentieren die praktische Nützlichkeit von SSAEs anhand einer Fallstudie zum Bias in Bios-Datensatz, bei der SSAEs eine um 12,5\% höhere Klassifizierungsgenauigkeit der schlechtesten Gruppe erreichen, wenn sie zur Entfernung irreführender Geschlechterinformationen eingesetzt werden. SSAEs bieten eine leistungsstarke neue Perspektive, um einen Blick in die inneren Arbeitsweisen von FMs in Subdomänen zu werfen.

English

Understanding and mitigating the potential risks associated with foundation models (FMs) hinges on developing effective interpretability methods. Sparse Autoencoders (SAEs) have emerged as a promising tool for disentangling FM representations, but they struggle to capture rare, yet crucial concepts in the data. We introduce Specialized Sparse Autoencoders (SSAEs), designed to illuminate these elusive dark matter features by focusing on specific subdomains. We present a practical recipe for training SSAEs, demonstrating the efficacy of dense retrieval for data selection and the benefits of Tilted Empirical Risk Minimization as a training objective to improve concept recall. Our evaluation of SSAEs on standard metrics, such as downstream perplexity and L_0 sparsity, show that they effectively capture subdomain tail concepts, exceeding the capabilities of general-purpose SAEs. We showcase the practical utility of SSAEs in a case study on the Bias in Bios dataset, where SSAEs achieve a 12.5\% increase in worst-group classification accuracy when applied to remove spurious gender information. SSAEs provide a powerful new lens for peering into the inner workings of FMs in subdomains.