De Geometrie van Tokens in Interne Representaties van Grote Taalmodellen

The Geometry of Tokens in Internal Representations of Large Language Models

January 17, 2025

Auteurs: Karthik Viswanathan, Yuri Gardinazzi, Giada Panerai, Alberto Cazzaniga, Matteo Biagetti

cs.AI

Samenvatting

We onderzoeken de relatie tussen de geometrie van token-embeddings en hun rol bij de voorspelling van het volgende token binnen transformer-modellen. Een belangrijk aspect van deze verbinding maakt gebruik van het begrip empirische maat, die de verdeling van token-puntwolken over transformer-lagen codeert en de evolutie van token-representaties in het mean-field interactiemodel stuurt. We gebruiken metingen zoals intrinsieke dimensie, buurtoverlap en cosinusgelijkenis om deze empirische maatregelen over lagen heen observatief te onderzoeken. Om onze aanpak te valideren, vergelijken we deze metingen met een dataset waarin de tokens worden geschud, wat de syntactische en semantische structuur verstoort. Onze bevindingen onthullen een correlatie tussen de geometrische eigenschappen van token-embeddings en de cross-entropie verlies van voorspellingen van het volgende token, wat impliceert dat prompts met hogere verlieswaarden tokens hebben die worden gerepresenteerd in hoger-dimensionale ruimtes.

English

We investigate the relationship between the geometry of token embeddings and their role in the next token prediction within transformer models. An important aspect of this connection uses the notion of empirical measure, which encodes the distribution of token point clouds across transformer layers and drives the evolution of token representations in the mean-field interacting picture. We use metrics such as intrinsic dimension, neighborhood overlap, and cosine similarity to observationally probe these empirical measures across layers. To validate our approach, we compare these metrics to a dataset where the tokens are shuffled, which disrupts the syntactic and semantic structure. Our findings reveal a correlation between the geometric properties of token embeddings and the cross-entropy loss of next token predictions, implying that prompts with higher loss values have tokens represented in higher-dimensional spaces.