Ripensando alla Riduzione dei Token nei Modelli di Linguaggio Basati su Trasformatori: Verso un Paradigma Unificato per l'Accelerazione Senza Addestramento

Rethinking Token Reduction in MLLMs: Towards a Unified Paradigm for Training-Free Acceleration

November 26, 2024

Autori: Yuhang Han, Xuyang Liu, Pengxiang Ding, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang

cs.AI

Abstract

Per accelerare l'elaborazione delle inferenze dei pesanti Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM), questo studio riconsidera il panorama attuale della ricerca di riduzione dei token senza addestramento. Siamo spiacenti di constatare che i componenti critici dei metodi esistenti sono strettamente interconnessi, con le loro interazioni ed effetti che rimangono poco chiari per confronti, trasferimenti ed espansioni. Pertanto, proponiamo un paradigma unificato ''filtrare-correlare-comprimere'' che scompone la riduzione dei token in tre fasi distinte all'interno di un flusso di lavoro, mantenendo obiettivi e elementi di progettazione coerenti consentendo al contempo implementazioni uniche. Inoltre, demistifichiamo i lavori popolari e li includiamo nel nostro paradigma per mostrare la sua universalità. Infine, offriamo una serie di metodi basati sul paradigma, bilanciando velocità e accuratezza durante le diverse fasi dell'elaborazione delle inferenze. I risultati sperimentali su 10 benchmark indicano che i nostri metodi possono ottenere fino all'82,4% di riduzione delle FLOP con un impatto minimo sulle prestazioni, superando contemporaneamente i metodi senza addestramento all'avanguardia. La pagina del nostro progetto si trova su https://ficoco-accelerate.github.io/.

English

To accelerate the inference of heavy Multimodal Large Language Models (MLLMs), this study rethinks the current landscape of training-free token reduction research. We regret to find that the critical components of existing methods are tightly intertwined, with their interconnections and effects remaining unclear for comparison, transfer, and expansion. Therefore, we propose a unified ''filter-correlate-compress'' paradigm that decomposes the token reduction into three distinct stages within a pipeline, maintaining consistent design objectives and elements while allowing for unique implementations. We additionally demystify the popular works and subsume them into our paradigm to showcase its universality. Finally, we offer a suite of methods grounded in the paradigm, striking a balance between speed and accuracy throughout different phases of the inference. Experimental results across 10 benchmarks indicate that our methods can achieve up to an 82.4% reduction in FLOPs with a minimal impact on performance, simultaneously surpassing state-of-the-art training-free methods. Our project page is at https://ficoco-accelerate.github.io/.