Decodifica della Materia Oscura: Autoencoder Sparsi Specializzati per l'Interpretazione di Concetti Rari nei Modelli Fondamentali

Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models

November 1, 2024

Autori: Aashiq Muhamed, Mona Diab, Virginia Smith

cs.AI

Abstract

La comprensione e la mitigazione dei potenziali rischi associati ai modelli fondamentali (FMs) dipendono dallo sviluppo di metodi di interpretabilità efficaci. Gli Autoencoder Sparsi (SAEs) sono emersi come uno strumento promettente per svelare le rappresentazioni dei FM, ma faticano a catturare concetti rari ma cruciali nei dati. Introduciamo gli Autoencoder Sparsi Specializzati (SSAEs), progettati per illuminare questi elusivi concetti dark matter concentrandosi su specifici subdomini. Presentiamo una ricetta pratica per addestrare gli SSAEs, dimostrando l'efficacia del recupero denso per la selezione dei dati e i benefici della Minimizzazione dell'Errore Empirico Inclinato come obiettivo di addestramento per migliorare il richiamo concettuale. La nostra valutazione degli SSAEs su metriche standard, come la perplessità a valle e la sparsetà L_0, mostra che catturano efficacemente i concetti di coda del subdominio, superando le capacità degli SAE generalisti. Mostriamo l'utilità pratica degli SSAEs in uno studio di caso sul dataset Bias in Bios, dove gli SSAEs ottengono un aumento del 12,5\% nell'accuratezza di classificazione del peggior gruppo quando vengono utilizzati per rimuovere informazioni di genere spurie. Gli SSAEs forniscono un potente nuovo strumento per scrutare il funzionamento interno dei FM nei subdomini.

English

Understanding and mitigating the potential risks associated with foundation models (FMs) hinges on developing effective interpretability methods. Sparse Autoencoders (SAEs) have emerged as a promising tool for disentangling FM representations, but they struggle to capture rare, yet crucial concepts in the data. We introduce Specialized Sparse Autoencoders (SSAEs), designed to illuminate these elusive dark matter features by focusing on specific subdomains. We present a practical recipe for training SSAEs, demonstrating the efficacy of dense retrieval for data selection and the benefits of Tilted Empirical Risk Minimization as a training objective to improve concept recall. Our evaluation of SSAEs on standard metrics, such as downstream perplexity and L_0 sparsity, show that they effectively capture subdomain tail concepts, exceeding the capabilities of general-purpose SAEs. We showcase the practical utility of SSAEs in a case study on the Bias in Bios dataset, where SSAEs achieve a 12.5\% increase in worst-group classification accuracy when applied to remove spurious gender information. SSAEs provide a powerful new lens for peering into the inner workings of FMs in subdomains.