Die Sparse Frontier: Kompromisse bei sparsamer Aufmerksamkeit in Transformer-LLMs

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs

April 24, 2025

Autoren: Piotr Nawrot, Robert Li, Renjie Huang, Sebastian Ruder, Kelly Marchisio, Edoardo M. Ponti

cs.AI

Zusammenfassung

Sparse Attention bietet eine vielversprechende Strategie, um die Fähigkeiten von Transformer-LLMs im Umgang mit langen Kontexten zu erweitern. Dennoch bleiben ihre Machbarkeit, ihre Effizienz-Genauigkeits-Abwägungen sowie systematische Skalierungsstudien bisher unerforscht. Um diese Lücke zu schließen, führen wir einen sorgfältigen Vergleich von trainingsfreien Sparse-Attention-Methoden bei variierenden Modellgrößen, Sequenzlängen und Sparsity-Levels durch, und zwar anhand einer vielfältigen Sammlung von Aufgaben mit langen Sequenzen – einschließlich neuartiger Aufgaben, die auf natürlicher Sprache basieren, dabei jedoch kontrollierbar und einfach zu evaluieren bleiben. Basierend auf unseren Experimenten präsentieren wir eine Reihe von zentralen Erkenntnissen: 1) Eine isoFLOPS-Analyse zeigt, dass für sehr lange Sequenzen größere und hochgradig sparse Modelle kleineren und dichten Modellen vorzuziehen sind. 2) Das Sparsity-Level, das bei statistischer Garantie der Genauigkeitserhaltung erreichbar ist, ist während des Decodings höher als beim Prefilling und korreliert im ersteren Fall mit der Modellgröße. 3) Es gibt keine klare Strategie, die über alle Aufgaben und Phasen hinweg am besten abschneidet, da je nach Szenario unterschiedliche Einheiten der Sparsifizierung oder Budgetanpassung benötigt werden. Selbst moderate Sparsity-Level führen oft zu erheblichen Leistungseinbußen bei mindestens einer Aufgabe, was verdeutlicht, dass Sparse Attention keine universelle Lösung ist. 4) Wir führen neuartige, speziell auf Sparse Attention zugeschnittene Skalierungsgesetze ein und validieren diese, wobei wir Belege liefern, dass unsere Erkenntnisse wahrscheinlich über den Rahmen unserer Experimente hinaus gültig sind. Durch diese Einblicke zeigen wir, dass Sparse Attention ein zentrales Werkzeug ist, um die Fähigkeiten von Transformer-LLMs zur Verarbeitung längerer Sequenzen zu verbessern, jedoch eine sorgfältige Abwägung der Kompromisse für leistungssensitive Anwendungen erfordert.

English

Sparse attention offers a promising strategy to extend long-context capabilities in Transformer LLMs, yet its viability, its efficiency-accuracy trade-offs, and systematic scaling studies remain unexplored. To address this gap, we perform a careful comparison of training-free sparse attention methods at varying model scales, sequence lengths, and sparsity levels on a diverse collection of long-sequence tasks-including novel ones that rely on natural language while remaining controllable and easy to evaluate. Based on our experiments, we report a series of key findings: 1) an isoFLOPS analysis reveals that for very long sequences, larger and highly sparse models are preferable to smaller and dense ones. 2) The level of sparsity attainable while statistically guaranteeing accuracy preservation is higher during decoding than prefilling, and correlates with model size in the former. 3) There is no clear strategy that performs best across tasks and phases, with different units of sparsification or budget adaptivity needed for different scenarios. Even moderate sparsity levels often result in significant performance degradation on at least one task, highlighting that sparse attention is not a universal solution. 4) We introduce and validate novel scaling laws specifically tailored for sparse attention, providing evidence that our findings are likely to hold true beyond our range of experiments. Through these insights, we demonstrate that sparse attention is a key tool to enhance the capabilities of Transformer LLMs for processing longer sequences, but requires careful evaluation of trade-offs for performance-sensitive applications.