De Semantische Hub Hypothese: Taalmodellen Delen Semantische Representaties Over Talen en Modaliteiten

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

November 7, 2024

Auteurs: Zhaofeng Wu, Xinyan Velocity Yu, Dani Yogatama, Jiasen Lu, Yoon Kim

cs.AI

Samenvatting

Moderne taalmodellen kunnen inputs verwerken in diverse talen en modaliteiten. We veronderstellen dat modellen deze mogelijkheid verwerven door het leren van een gedeelde representatieruimte over heterogene gegevenstypen (bijv. verschillende talen en modaliteiten), waarbij semantisch vergelijkbare inputs dicht bij elkaar worden geplaatst, zelfs als ze afkomstig zijn uit verschillende modaliteiten/talen. We noemen dit de semantische hub hypothese, naar het hub-en-spoke model uit de neurowetenschappen (Patterson et al., 2007) dat stelt dat semantische kennis in het menselijk brein is georganiseerd via een transmodale semantische "hub" die informatie integreert vanuit verschillende modaliteitsspecifieke "spokes" regio's. We tonen eerst aan dat modelrepresentaties voor semantisch equivalentie inputs in verschillende talen vergelijkbaar zijn in de tussenliggende lagen, en dat deze ruimte kan worden geïnterpreteerd met behulp van de dominante voorafgaande taal van het model via de logit lens. Deze neiging strekt zich uit tot andere gegevenstypen, waaronder rekenkundige uitdrukkingen, code, en visuele/audio inputs. Interventies in de gedeelde representatieruimte in één gegevenstype beïnvloeden ook voorspelbaar de modeluitvoer in andere gegevenstypen, wat suggereert dat deze gedeelde representatieruimte niet eenvoudigweg een overblijfsel is van grootschalige training op brede gegevens, maar iets dat actief wordt gebruikt door het model tijdens de verwerking van inputs.

English

Modern language models can process inputs across diverse languages and modalities. We hypothesize that models acquire this capability through learning a shared representation space across heterogeneous data types (e.g., different languages and modalities), which places semantically similar inputs near one another, even if they are from different modalities/languages. We term this the semantic hub hypothesis, following the hub-and-spoke model from neuroscience (Patterson et al., 2007) which posits that semantic knowledge in the human brain is organized through a transmodal semantic "hub" which integrates information from various modality-specific "spokes" regions. We first show that model representations for semantically equivalent inputs in different languages are similar in the intermediate layers, and that this space can be interpreted using the model's dominant pretraining language via the logit lens. This tendency extends to other data types, including arithmetic expressions, code, and visual/audio inputs. Interventions in the shared representation space in one data type also predictably affect model outputs in other data types, suggesting that this shared representations space is not simply a vestigial byproduct of large-scale training on broad data, but something that is actively utilized by the model during input processing.