FFN Fusion: Ripensare il Calcolo Sequenziale nei Modelli Linguistici di Grande Dimensione

FFN Fusion: Rethinking Sequential Computation in Large Language Models

March 24, 2025

Autori: Akhiad Bercovich, Mohammad Dabbah, Omri Puny, Ido Galil, Amnon Geifman, Yonatan Geifman, Izhak Golan, Ehud Karpas, Itay Levy, Zach Moshe, Najeeb Nabwani, Tomer Ronen, Itamar Schen, Elad Segal, Ido Shahaf, Oren Tropp, Ran Zilberstein, Ran El-Yaniv

cs.AI

Abstract

Presentiamo FFN Fusion, una tecnica di ottimizzazione architetturale che riduce il calcolo sequenziale nei grandi modelli linguistici identificando e sfruttando opportunità naturali di parallelizzazione. La nostra intuizione chiave è che sequenze di livelli Feed-Forward Network (FFN), in particolare quelli rimanenti dopo la rimozione di specifici livelli di attenzione, possono spesso essere parallelizzati con un impatto minimo sull'accuratezza. Sviluppiamo una metodologia rigorosa per identificare e fondere tali sequenze, trasformandole in operazioni parallele che riducono significativamente la latenza di inferenza preservando il comportamento del modello. Applicando queste tecniche a Llama-3.1-405B-Instruct, creiamo Llama-Nemotron-Ultra-253B-Base (Ultra-253B-Base), un modello efficiente e presto disponibile pubblicamente che ottiene un'accelerazione di 1,71X nella latenza di inferenza e un costo per token 35X inferiore, mantenendo prestazioni solide su vari benchmark. Attraverso esperimenti estesi su modelli da 49B a 253B parametri, dimostriamo che FFN Fusion diventa sempre più efficace su scale più ampie e può complementare tecniche di ottimizzazione esistenti come la quantizzazione e il pruning. Ancora più interessante, scopriamo che persino interi blocchi transformer contenenti sia livelli di attenzione che FFN possono talvolta essere parallelizzati, suggerendo nuove direzioni per il design delle architetture neurali.

English

We introduce FFN Fusion, an architectural optimization technique that reduces sequential computation in large language models by identifying and exploiting natural opportunities for parallelization. Our key insight is that sequences of Feed-Forward Network (FFN) layers, particularly those remaining after the removal of specific attention layers, can often be parallelized with minimal accuracy impact. We develop a principled methodology for identifying and fusing such sequences, transforming them into parallel operations that significantly reduce inference latency while preserving model behavior. Applying these techniques to Llama-3.1-405B-Instruct, we create Llama-Nemotron-Ultra-253B-Base (Ultra-253B-Base), an efficient and soon-to-be publicly available model that achieves a 1.71X speedup in inference latency and 35X lower per-token cost while maintaining strong performance across benchmarks. Through extensive experiments on models from 49B to 253B parameters, we demonstrate that FFN Fusion becomes increasingly effective at larger scales and can complement existing optimization techniques like quantization and pruning. Most intriguingly, we find that even full transformer blocks containing both attention and FFN layers can sometimes be parallelized, suggesting new directions for neural architecture design.