Décodage de la matière noire : Autoencodeurs spécialisés épars pour interpréter des concepts rares dans les modèles fondamentaux

Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models

November 1, 2024

Auteurs: Aashiq Muhamed, Mona Diab, Virginia Smith

cs.AI

Résumé

La compréhension et l'atténuation des risques potentiels associés aux modèles de base (FMs) dépendent du développement de méthodes d'interprétabilité efficaces. Les Autoencodeurs Épars (SAEs) ont émergé comme un outil prometteur pour démêler les représentations des FM, mais ils ont du mal à capturer des concepts rares mais cruciaux dans les données. Nous introduisons les Autoencodeurs Épars Spécialisés (SSAEs), conçus pour mettre en lumière ces caractéristiques de matière noire insaisissables en se concentrant sur des sous-domaines spécifiques. Nous présentons une recette pratique pour l'entraînement des SSAEs, démontrant l'efficacité de la récupération dense pour la sélection des données et les avantages de la Minimisation du Risque Empirique Incliné en tant qu'objectif d'entraînement pour améliorer le rappel des concepts. Notre évaluation des SSAEs sur des métriques standard, telles que la perplexité en aval et la sparsité L_0, montre qu'ils capturent efficacement les concepts de queue de sous-domaine, dépassant les capacités des SAEs polyvalents. Nous mettons en avant l'utilité pratique des SSAEs dans une étude de cas sur l'ensemble de données Biais dans les Bios, où les SSAEs obtiennent une augmentation de 12,5\% de l'exactitude de classification du pire groupe lorsqu'ils sont appliqués pour supprimer les informations de genre fallacieuses. Les SSAEs offrent un nouvel outil puissant pour examiner le fonctionnement interne des FMs dans les sous-domaines.

English

Understanding and mitigating the potential risks associated with foundation models (FMs) hinges on developing effective interpretability methods. Sparse Autoencoders (SAEs) have emerged as a promising tool for disentangling FM representations, but they struggle to capture rare, yet crucial concepts in the data. We introduce Specialized Sparse Autoencoders (SSAEs), designed to illuminate these elusive dark matter features by focusing on specific subdomains. We present a practical recipe for training SSAEs, demonstrating the efficacy of dense retrieval for data selection and the benefits of Tilted Empirical Risk Minimization as a training objective to improve concept recall. Our evaluation of SSAEs on standard metrics, such as downstream perplexity and L_0 sparsity, show that they effectively capture subdomain tail concepts, exceeding the capabilities of general-purpose SAEs. We showcase the practical utility of SSAEs in a case study on the Bias in Bios dataset, where SSAEs achieve a 12.5\% increase in worst-group classification accuracy when applied to remove spurious gender information. SSAEs provide a powerful new lens for peering into the inner workings of FMs in subdomains.