L'Ipotesi del Nucleo Semantico: i Modelli Linguistici Condividono Rappresentazioni Semantiche tra Lingue e Modalità diverse

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

November 7, 2024

Autori: Zhaofeng Wu, Xinyan Velocity Yu, Dani Yogatama, Jiasen Lu, Yoon Kim

cs.AI

Abstract

I moderni modelli linguistici possono elaborare input in diverse lingue e modalità. Ipotizziamo che i modelli acquisiscano questa capacità attraverso l'apprendimento di uno spazio di rappresentazione condiviso tra tipi di dati eterogenei (ad esempio, lingue e modalità diverse), che posiziona input semanticamente simili vicini tra loro, anche se provengono da diverse modalità/lingue. Chiamiamo questa ipotesi "hub semantico", seguendo il modello hub-and-spoke dalla neuroscienza (Patterson et al., 2007) che sostiene che la conoscenza semantica nel cervello umano è organizzata attraverso un "hub" semantico transmodale che integra informazioni da varie regioni "spoke" specifiche per le modalità. Dimostriamo innanzitutto che le rappresentazioni del modello per input semanticamente equivalenti in lingue diverse sono simili nei livelli intermedi e che questo spazio può essere interpretato utilizzando la lingua predominante di preaddestramento del modello tramite la lente logit. Questa tendenza si estende ad altri tipi di dati, inclusi espressioni aritmetiche, codice e input visivi/audio. Interventi nello spazio di rappresentazione condiviso in un tipo di dati influenzano in modo prevedibile anche le uscite del modello in altri tipi di dati, suggerendo che questo spazio di rappresentazioni condiviso non è semplicemente un sottoprodotto vestigiale dell'addestramento su larga scala su dati ampi, ma qualcosa che è attivamente utilizzato dal modello durante l'elaborazione degli input.

English

Modern language models can process inputs across diverse languages and modalities. We hypothesize that models acquire this capability through learning a shared representation space across heterogeneous data types (e.g., different languages and modalities), which places semantically similar inputs near one another, even if they are from different modalities/languages. We term this the semantic hub hypothesis, following the hub-and-spoke model from neuroscience (Patterson et al., 2007) which posits that semantic knowledge in the human brain is organized through a transmodal semantic "hub" which integrates information from various modality-specific "spokes" regions. We first show that model representations for semantically equivalent inputs in different languages are similar in the intermediate layers, and that this space can be interpreted using the model's dominant pretraining language via the logit lens. This tendency extends to other data types, including arithmetic expressions, code, and visual/audio inputs. Interventions in the shared representation space in one data type also predictably affect model outputs in other data types, suggesting that this shared representations space is not simply a vestigial byproduct of large-scale training on broad data, but something that is actively utilized by the model during input processing.