HARP: Riprogettazione consapevole delle esitazioni nella fase di inferenza del Transformer

HARP: Hesitation-Aware Reframing in Transformer Inference Pass

December 10, 2024

Autori: Romain Storaï, Seung-won Hwang

cs.AI

Abstract

Questo articolo mira a migliorare le prestazioni dei grandi modelli linguistici affrontando le variabili esigenze computazionali nei passaggi di inferenza, in cui alcuni token richiedono più risorse computazionali di altri. Presentiamo HARP, una semplice modifica al passaggio in avanti del Transformer "pronto all'uso". Attingendo dall'incertezza e dall'effetto di inquadratura nella presa di decisioni, HARP applica selettivamente ulteriori calcoli quando il modello incontra incertezza durante la generazione del token. Il nostro metodo imita i processi cognitivi umani mettendo in pausa nei punti decisionali difficili e riformulando gli input per una prospettiva diversa. A differenza di altri approcci, HARP è agnostico rispetto al modello, non richiede addestramento ed è facile da implementare. Valutiamo approfonditamente il nostro metodo su vari compiti successivi e dimensioni del modello, dimostrando miglioramenti delle prestazioni fino al +5,16%. In particolare, HARP raggiunge questi guadagni mantenendo tempi di inferenza due volte più veloci rispetto alla ricerca a fascio. Semplice eppure con guadagni significativi, HARP offre una soluzione pratica per migliorare le prestazioni dei modelli linguistici basati su Transformer con un impatto computazionale minimo.

English

This paper aims to improve the performance of large language models by addressing the variable computational demands in inference steps, where some tokens require more computational resources than others. We present HARP, a simple modification to "off-the-shelf" Transformer forward pass. Drawing from hesitation and the framing effect in decision-making, HARP selectively applies additional computation when the model encounters uncertainty during token generation. Our method mimics human cognitive processes by pausing at difficult decision points and reframing inputs for a different perspective. Unlike other approaches, HARP is model-agnostic, training-free, and easy to implement. We thoroughly evaluate our method across various downstream tasks and model sizes, demonstrating performance improvements up to +5.16%. Notably, HARP achieves these gains while maintaining inference times twice faster than beam search. Simple and yet with significant gains, HARP offers a practical solution for enhancing the performance of Transformer-based language models with minimal computational impact.