L'hypothèse du hub sémantique : les modèles de langage partagent des représentations sémantiques à travers les langues et les modalités.

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

November 7, 2024

Auteurs: Zhaofeng Wu, Xinyan Velocity Yu, Dani Yogatama, Jiasen Lu, Yoon Kim

cs.AI

Résumé

Les modèles de langage modernes peuvent traiter des entrées dans diverses langues et modalités. Nous émettons l'hypothèse que les modèles acquièrent cette capacité en apprenant un espace de représentation partagé à travers des types de données hétérogènes (par exemple, différentes langues et modalités), plaçant des entrées sémantiquement similaires à proximité les unes des autres, même si elles proviennent de différentes modalités/langues. Nous appelons cela l'hypothèse du hub sémantique, en suivant le modèle en étoile du domaine de la neuroscience (Patterson et al., 2007) qui postule que les connaissances sémantiques dans le cerveau humain sont organisées à travers un "hub" sémantique transmodal qui intègre des informations provenant de différentes régions "spokes" spécifiques à chaque modalité. Nous montrons d'abord que les représentations des modèles pour des entrées sémantiquement équivalentes dans différentes langues sont similaires dans les couches intermédiaires, et que cet espace peut être interprété en utilisant la langue de pré-entraînement dominante du modèle via l'objectif logit. Cette tendance s'étend à d'autres types de données, y compris les expressions arithmétiques, le code, et les entrées visuelles/auditives. Les interventions dans l'espace de représentation partagé pour un type de données affectent également de manière prévisible les sorties du modèle pour d'autres types de données, suggérant que cet espace de représentations partagées n'est pas simplement un sous-produit vestigial d'un entraînement à grande échelle sur des données diverses, mais quelque chose qui est activement utilisé par le modèle lors du traitement des entrées.

English

Modern language models can process inputs across diverse languages and modalities. We hypothesize that models acquire this capability through learning a shared representation space across heterogeneous data types (e.g., different languages and modalities), which places semantically similar inputs near one another, even if they are from different modalities/languages. We term this the semantic hub hypothesis, following the hub-and-spoke model from neuroscience (Patterson et al., 2007) which posits that semantic knowledge in the human brain is organized through a transmodal semantic "hub" which integrates information from various modality-specific "spokes" regions. We first show that model representations for semantically equivalent inputs in different languages are similar in the intermediate layers, and that this space can be interpreted using the model's dominant pretraining language via the logit lens. This tendency extends to other data types, including arithmetic expressions, code, and visual/audio inputs. Interventions in the shared representation space in one data type also predictably affect model outputs in other data types, suggesting that this shared representations space is not simply a vestigial byproduct of large-scale training on broad data, but something that is actively utilized by the model during input processing.