LLaVA-Mini: Modelli Multimodali Grandi Efficienti per Immagini e Video con un Token di Visione

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

January 7, 2025

Autori: Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng

cs.AI

Abstract

L'avvento dei modelli multimodali in tempo reale di grandi dimensioni (LMM) come il GPT-4o ha suscitato un notevole interesse per i LMM efficienti. I framework LMM di solito codificano gli input visivi in token visivi (rappresentazioni continue) e li integrano con istruzioni testuali nel contesto dei grandi modelli linguistici (LLM), dove i parametri su larga scala e numerosi token di contesto (prevalentemente token visivi) comportano un notevole sovraccarico computazionale. Gli sforzi precedenti per rendere i LMM efficienti si sono sempre concentrati sulla sostituzione del nucleo del LLM con modelli più piccoli, trascurando però la questione cruciale della quantità di token. In questo articolo, presentiamo LLaVA-Mini, un LMM efficiente con un numero minimo di token visivi. Per ottenere un alto rapporto di compressione dei token visivi pur preservando le informazioni visive, analizziamo innanzitutto come i LMM comprendono i token visivi e scopriamo che la maggior parte dei token visivi svolge un ruolo cruciale solo nei primi strati del nucleo del LLM, dove principalmente fondono le informazioni visive nei token di testo. Basandoci su questa scoperta, LLaVA-Mini introduce la prefusione di modalità per fondere le informazioni visive nei token di testo in anticipo, agevolando così la compressione estrema dei token visivi alimentati al nucleo del LLM in un unico token. LLaVA-Mini è un modello multimodale unificato di grandi dimensioni che può supportare la comprensione di immagini, immagini ad alta risoluzione e video in modo efficiente. Gli esperimenti su 11 benchmark basati su immagini e 7 basati su video dimostrano che LLaVA-Mini supera LLaVA-v1.5 con soli 1 token visivo anziché 576. Le analisi di efficienza rivelano che LLaVA-Mini può ridurre le operazioni in virgola mobile (FLOPs) del 77%, fornire risposte a bassa latenza entro 40 millisecondi e elaborare oltre 10.000 frame di video sull'hardware GPU con 24GB di memoria.

English

The advent of real-time large multimodal models (LMMs) like GPT-4o has sparked considerable interest in efficient LMMs. LMM frameworks typically encode visual inputs into vision tokens (continuous representations) and integrate them and textual instructions into the context of large language models (LLMs), where large-scale parameters and numerous context tokens (predominantly vision tokens) result in substantial computational overhead. Previous efforts towards efficient LMMs always focus on replacing the LLM backbone with smaller models, while neglecting the crucial issue of token quantity. In this paper, we introduce LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high compression ratio of vision tokens while preserving visual information, we first analyze how LMMs understand vision tokens and find that most vision tokens only play a crucial role in the early layers of LLM backbone, where they mainly fuse visual information into text tokens. Building on this finding, LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. LLaVA-Mini is a unified large multimodal model that can support the understanding of images, high-resolution images, and videos in an efficient manner. Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.