OBIETTIVO: Inferenza Adattiva di Modelli Linguistici Multimodali tramite Fusione e Potatura dei Token

AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning

December 4, 2024

Autori: Yiwu Zhong, Zhuoming Liu, Yin Li, Liwei Wang

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno reso possibile la creazione di LLM multimodali che dimostrano una forte comprensione dei dati visivi come immagini e video. Tuttavia, questi modelli di solito si basano su un'ampia quantità di token visivi da codificatori visivi, generando elevate richieste computazionali che limitano la loro applicabilità in ambienti con risorse limitate e per compiti a lungo contesto. In questo lavoro, proponiamo un metodo di inferenza adattiva senza addestramento per i LLM multimodali che può soddisfare una vasta gamma di requisiti di efficienza con un minimo calo delle prestazioni. Il nostro metodo consiste in a) fusione iterativa dei token basata sulla similarità dell'incorporamento prima dei LLM e b) potatura progressiva dei token all'interno dei livelli dei LLM basata sull'importanza multimodale. Con un design minimalista, il nostro metodo può essere applicato sia ai LLM video che alle immagini. Estesi esperimenti su diversi benchmark video e immagini dimostrano che il nostro metodo riduce sostanzialmente il carico computazionale (ad esempio, una riduzione di 7 volte nei FLOPs) preservando le prestazioni dei LLM video e immagini. Inoltre, sotto un costo computazionale simile, il nostro metodo supera i metodi all'avanguardia nella comprensione di video lunghi (ad esempio, +4,6 su MLVU). Inoltre, la nostra analisi approfondita fornisce approfondimenti sulla ridondanza dei token e sui comportamenti dei livelli dei LLM, offrendo indicazioni per futuri studi nella progettazione di LLM multimodali efficienti. Il nostro codice sarà disponibile su https://github.com/LaVi-Lab/AIM.

English

Large language models (LLMs) have enabled the creation of multi-modal LLMs that exhibit strong comprehension of visual data such as images and videos. However, these models usually rely on extensive visual tokens from visual encoders, leading to high computational demands, which limits their applicability in resource-constrained environments and for long-context tasks. In this work, we propose a training-free adaptive inference method for multi-modal LLMs that can accommodate a broad range of efficiency requirements with a minimum performance drop. Our method consists of a) iterative token merging based on embedding similarity before LLMs, and b) progressive token pruning within LLM layers based on multi-modal importance. With a minimalist design, our method can be applied to both video and image LLMs. Extensive experiments on diverse video and image benchmarks demonstrate that, our method substantially reduces computation load (e.g., a 7-fold reduction in FLOPs) while preserving the performance of video and image LLMs. Further, under a similar computational cost, our method outperforms the state-of-the-art methods in long video understanding (e.g., +4.6 on MLVU). Additionally, our in-depth analysis provides insights into token redundancy and LLM layer behaviors, offering guidance for future research in designing efficient multi-modal LLMs. Our code will be available at https://github.com/LaVi-Lab/AIM.