Salto adattivo di strati nei modelli linguistici pre-addestrati

Adaptive Layer-skipping in Pre-trained LLMs

March 31, 2025

Autori: Xuan Luo, Weizhi Wang, Xifeng Yan

cs.AI

Abstract

Sono stati proposti vari metodi di salto di strati per accelerare la generazione di token nei grandi modelli linguistici (LLM). Tuttavia, questi metodi hanno trascurato una domanda fondamentale: come variano le richieste computazionali durante la generazione di diversi token? In questo lavoro, introduciamo FlexiDepth, un metodo che regola dinamicamente il numero di strati Transformer utilizzati nella generazione di testo. Incorporando un router e un adattatore plug-in, FlexiDepth consente il salto adattivo degli strati negli LLM senza modificare i loro parametri originali. L'introduzione di FlexiDepth nel modello Llama-3-8B ha permesso di saltare 8 strati su 32, mantenendo al contempo il 100% delle prestazioni di riferimento. I risultati sperimentali con FlexiDepth dimostrano che le richieste computazionali negli LLM variano significativamente in base al tipo di token. In particolare, la generazione di token ripetitivi o frasi fisse richiede meno strati, mentre la produzione di token che implicano calcoli o alta incertezza richiede più strati. Interessante notare che questo schema di allocazione adattiva si allinea con l'intuizione umana. Per promuovere la ricerca in questo ambito, abbiamo reso open source FlexiDepth e un dataset che documenta gli schemi di allocazione degli strati di FlexiDepth per future esplorazioni.

English

Various layer-skipping methods have been proposed to accelerate token generation in large language models (LLMs). However, they have overlooked a fundamental question: How do computational demands vary across the generation of different tokens? In this work, we introduce FlexiDepth, a method that dynamically adjusts the number of Transformer layers used in text generation. By incorporating a plug-in router and adapter, FlexiDepth enables adaptive layer-skipping in LLMs without modifying their original parameters. Introducing FlexiDepth to Llama-3-8B model achieves layer skipping of 8 layers out of 32, and meanwhile maintains the full 100\% benchmark performance. Experimental results with FlexiDepth demonstrate that computational demands in LLMs significantly vary based on token type. Specifically, generating repetitive tokens or fixed phrases requires fewer layers, whereas producing tokens involving computation or high uncertainty requires more layers. Interestingly, this adaptive allocation pattern aligns with human intuition. To advance research in this area, we open sourced FlexiDepth and a dataset documenting FlexiDepth's layer allocation patterns for future exploration.