Lo Spostamento dell'Attenzione KV Migliora la Modellizzazione del Linguaggio

KV Shifting Attention Enhances Language Modeling

November 29, 2024

Autori: Mingyu Xu, Wei Cheng, Bingning Wang, Weipeng Chen

cs.AI

Abstract

I modelli linguistici attuali di grandi dimensioni si basano principalmente su trasformatori con struttura di sola decodifica, che presentano grandi capacità di apprendimento contestuale (ICL). Si ritiene generalmente che la base importante della sua capacità di ICL sia il meccanismo delle testine di induzione, che richiede almeno due livelli di attenzione. Al fine di implementare in modo più efficiente la capacità di induzione del modello, abbiamo riesaminato il meccanismo delle testine di induzione e proposto un'attenzione a spostamento KV. Abbiamo dimostrato teoricamente che l'attenzione a spostamento KV riduce i requisiti del modello per la profondità e la larghezza del meccanismo delle testine di induzione. I nostri risultati sperimentali dimostrano che l'attenzione a spostamento KV è vantaggiosa per l'apprendimento delle testine di induzione e la modellazione del linguaggio, portando a migliori prestazioni o convergenza più rapida dai modelli giocattolo ai modelli di pre-addestramento con più di 10 miliardi di parametri.

English

The current large language models are mainly based on decode-only structure transformers, which have great in-context learning (ICL) capabilities. It is generally believed that the important foundation of its ICL capability is the induction heads mechanism, which requires at least two layers attention. In order to more efficiently implement the ability of the model's induction, we revisit the induction heads mechanism and proposed a KV shifting attention. We theoretically prove that the KV shifting attention reducing the model's requirements for the depth and width of the induction heads mechanism. Our experimental results demonstrate that KV shifting attention is beneficial to learning induction heads and language modeling, which lead to better performance or faster convergence from toy models to the pre-training models with more than 10 B parameters.