I Grandi Modelli Multimodali Possono Interpretare le Caratteristiche nei Grandi Modelli Multimodali

Large Multi-modal Models Can Interpret Features in Large Multi-modal Models

November 22, 2024

Autori: Kaichen Zhang, Yifei Shen, Bo Li, Ziwei Liu

cs.AI

Abstract

I recenti progressi nei Large Multimodal Models (LMMs) hanno portato a significativi avanzamenti sia in ambito accademico che industriale. Una domanda che sorge è come possiamo, come esseri umani, comprendere le loro rappresentazioni neurali interne. Questo articolo compie un primo passo verso la risoluzione di questa questione presentando un framework versatile per identificare e interpretare la semantica all'interno dei LMMs. In particolare, 1) applichiamo inizialmente un Autoencoder Sparso (SAE) per separare le rappresentazioni in caratteristiche comprensibili agli esseri umani. 2) Successivamente presentiamo un framework di interpretazione automatica per interpretare le caratteristiche semantiche aperte apprese in SAE dai LMMs stessi. Utilizziamo questo framework per analizzare il modello LLaVA-NeXT-8B utilizzando il modello LLaVA-OV-72B, dimostrando che queste caratteristiche possono guidare efficacemente il comportamento del modello. I nostri risultati contribuiscono a una comprensione più approfondita del motivo per cui i LMMs eccellono in specifiche attività, inclusi i test EQ, e illuminano la natura dei loro errori insieme a potenziali strategie per la loro correzione. Queste scoperte offrono nuove intuizioni sui meccanismi interni dei LMMs e suggeriscono analogie con i processi cognitivi del cervello umano.

English

Recent advances in Large Multimodal Models (LMMs) lead to significant breakthroughs in both academia and industry. One question that arises is how we, as humans, can understand their internal neural representations. This paper takes an initial step towards addressing this question by presenting a versatile framework to identify and interpret the semantics within LMMs. Specifically, 1) we first apply a Sparse Autoencoder(SAE) to disentangle the representations into human understandable features. 2) We then present an automatic interpretation framework to interpreted the open-semantic features learned in SAE by the LMMs themselves. We employ this framework to analyze the LLaVA-NeXT-8B model using the LLaVA-OV-72B model, demonstrating that these features can effectively steer the model's behavior. Our results contribute to a deeper understanding of why LMMs excel in specific tasks, including EQ tests, and illuminate the nature of their mistakes along with potential strategies for their rectification. These findings offer new insights into the internal mechanisms of LMMs and suggest parallels with the cognitive processes of the human brain.