Die semantische Hub-Hypothese: Sprachmodelle teilen semantische Repräsentationen über Sprachen und Modalitäten hinweg.

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

November 7, 2024

Autoren: Zhaofeng Wu, Xinyan Velocity Yu, Dani Yogatama, Jiasen Lu, Yoon Kim

cs.AI

Zusammenfassung

Moderne Sprachmodelle können Eingaben in verschiedenen Sprachen und Modalitäten verarbeiten. Wir vermuten, dass Modelle diese Fähigkeit erlangen, indem sie einen gemeinsamen Repräsentationsraum über heterogene Datentypen (z. B. verschiedene Sprachen und Modalitäten) erlernen, der semantisch ähnliche Eingaben in der Nähe platziert, auch wenn sie aus unterschiedlichen Modalitäten/Sprachen stammen. Wir bezeichnen dies als die semantische Hub-Hypothese, die dem Hub-und-Speichen-Modell aus der Neurowissenschaft folgt (Patterson et al., 2007), das besagt, dass semantisches Wissen im menschlichen Gehirn durch einen transmodalen semantischen "Hub" organisiert ist, der Informationen aus verschiedenen modalitätsspezifischen "Speichen"-Regionen integriert. Wir zeigen zunächst, dass Modellrepräsentationen für semantisch äquivalente Eingaben in verschiedenen Sprachen in den Zwischenschichten ähnlich sind und dass dieser Raum mithilfe der vorherrschenden Vorsprache des Modells über die Logit-Linse interpretiert werden kann. Diese Tendenz erstreckt sich auf andere Datentypen, einschließlich arithmetischer Ausdrücke, Code und visueller/auditiver Eingaben. Interventionen im gemeinsamen Repräsentationsraum eines Datentyps beeinflussen auch vorhersehbar die Modellausgaben in anderen Datentypen, was darauf hindeutet, dass dieser gemeinsame Repräsentationsraum nicht einfach ein überbleibendes Nebenprodukt des groß angelegten Trainings an umfangreichen Daten ist, sondern etwas, das vom Modell aktiv während der Eingabeverarbeitung genutzt wird.

English

Modern language models can process inputs across diverse languages and modalities. We hypothesize that models acquire this capability through learning a shared representation space across heterogeneous data types (e.g., different languages and modalities), which places semantically similar inputs near one another, even if they are from different modalities/languages. We term this the semantic hub hypothesis, following the hub-and-spoke model from neuroscience (Patterson et al., 2007) which posits that semantic knowledge in the human brain is organized through a transmodal semantic "hub" which integrates information from various modality-specific "spokes" regions. We first show that model representations for semantically equivalent inputs in different languages are similar in the intermediate layers, and that this space can be interpreted using the model's dominant pretraining language via the logit lens. This tendency extends to other data types, including arithmetic expressions, code, and visual/audio inputs. Interventions in the shared representation space in one data type also predictably affect model outputs in other data types, suggesting that this shared representations space is not simply a vestigial byproduct of large-scale training on broad data, but something that is actively utilized by the model during input processing.