De Sparse Frontier: Afwegingen van Sparse Attention in Transformer LLM's

The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs

April 24, 2025

Auteurs: Piotr Nawrot, Robert Li, Renjie Huang, Sebastian Ruder, Kelly Marchisio, Edoardo M. Ponti

cs.AI

Samenvatting

Sparse attention biedt een veelbelovende strategie om de lange-contextmogelijkheden van Transformer LLMs uit te breiden, maar de haalbaarheid, de efficiëntie-nauwkeurigheid afwegingen en systematische schaalstudies blijven onontgonnen. Om deze leemte aan te pakken, voeren we een zorgvuldige vergelijking uit van trainingsvrije sparse attention methoden op verschillende modelschalen, sequentielengtes en sparsiteitsniveaus op een diverse verzameling lange-sequentietaken – inclusief nieuwe taken die vertrouwen op natuurlijke taal terwijl ze controleerbaar en eenvoudig te evalueren blijven. Op basis van onze experimenten rapporteren we een reeks belangrijke bevindingen: 1) een isoFLOPS-analyse toont aan dat voor zeer lange sequenties grotere en sterk gesparseerde modellen de voorkeur hebben boven kleinere en dichte modellen. 2) Het niveau van sparsiteit dat haalbaar is terwijl statistisch gegarandeerd wordt dat de nauwkeurigheid behouden blijft, is hoger tijdens decodering dan tijdens prefilling, en correleert met de modelschaal in het eerste geval. 3) Er is geen duidelijke strategie die het beste presteert over taken en fasen heen, waarbij verschillende eenheden van sparsificatie of budgetadaptiviteit nodig zijn voor verschillende scenario's. Zelfs matige sparsiteitsniveaus resulteren vaak in aanzienlijke prestatievermindering op ten minste één taak, wat benadrukt dat sparse attention geen universele oplossing is. 4) We introduceren en valideren nieuwe schaalwetten die specifiek zijn afgestemd op sparse attention, wat bewijs levert dat onze bevindingen waarschijnlijk gelden buiten het bereik van onze experimenten. Door deze inzichten tonen we aan dat sparse attention een belangrijk instrument is om de mogelijkheden van Transformer LLMs voor het verwerken van langere sequenties te verbeteren, maar dat zorgvuldige evaluatie van afwegingen vereist is voor prestatiegevoelige toepassingen.

English

Sparse attention offers a promising strategy to extend long-context capabilities in Transformer LLMs, yet its viability, its efficiency-accuracy trade-offs, and systematic scaling studies remain unexplored. To address this gap, we perform a careful comparison of training-free sparse attention methods at varying model scales, sequence lengths, and sparsity levels on a diverse collection of long-sequence tasks-including novel ones that rely on natural language while remaining controllable and easy to evaluate. Based on our experiments, we report a series of key findings: 1) an isoFLOPS analysis reveals that for very long sequences, larger and highly sparse models are preferable to smaller and dense ones. 2) The level of sparsity attainable while statistically guaranteeing accuracy preservation is higher during decoding than prefilling, and correlates with model size in the former. 3) There is no clear strategy that performs best across tasks and phases, with different units of sparsification or budget adaptivity needed for different scenarios. Even moderate sparsity levels often result in significant performance degradation on at least one task, highlighting that sparse attention is not a universal solution. 4) We introduce and validate novel scaling laws specifically tailored for sparse attention, providing evidence that our findings are likely to hold true beyond our range of experiments. Through these insights, we demonstrate that sparse attention is a key tool to enhance the capabilities of Transformer LLMs for processing longer sequences, but requires careful evaluation of trade-offs for performance-sensitive applications.