LLaVA-Mini: Modelos Multimodais Grandes de Imagem e Vídeo Eficientes com um Token de Visão

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

January 7, 2025

Autores: Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng

cs.AI

Resumo

O surgimento de modelos multimodais grandes em tempo real (LMMs) como o GPT-4o tem despertado considerável interesse em LMMs eficientes. Os frameworks de LMM normalmente codificam entradas visuais em tokens de visão (representações contínuas) e as integram com instruções textuais no contexto de grandes modelos de linguagem (LLMs), onde parâmetros em grande escala e numerosos tokens de contexto (predominantemente tokens de visão) resultam em uma sobrecarga computacional substancial. Esforços anteriores em direção a LMMs eficientes sempre se concentraram em substituir a espinha dorsal do LLM por modelos menores, negligenciando a questão crucial da quantidade de tokens. Neste artigo, apresentamos o LLaVA-Mini, um LMM eficiente com um número mínimo de tokens de visão. Para alcançar uma alta taxa de compressão de tokens de visão, enquanto preserva informações visuais, analisamos primeiro como os LMMs compreendem os tokens de visão e descobrimos que a maioria dos tokens de visão desempenha um papel crucial apenas nas camadas iniciais da espinha dorsal do LLM, onde eles principalmente fundem informações visuais nos tokens de texto. Com base nessa descoberta, o LLaVA-Mini introduz a pré-fusão de modalidade para fundir informações visuais nos tokens de texto antecipadamente, facilitando assim a compressão extrema dos tokens de visão alimentados na espinha dorsal do LLM em um único token. O LLaVA-Mini é um modelo multimodal grande unificado que pode suportar a compreensão de imagens, imagens de alta resolução e vídeos de maneira eficiente. Experimentos em 11 benchmarks baseados em imagens e 7 baseados em vídeos demonstram que o LLaVA-Mini supera o LLaVA-v1.5 com apenas 1 token de visão em vez de 576. Análises de eficiência revelam que o LLaVA-Mini pode reduzir as operações de ponto flutuante em 77%, fornecer respostas de baixa latência em até 40 milissegundos e processar mais de 10.000 frames de vídeo no hardware da GPU com 24GB de memória.

English

The advent of real-time large multimodal models (LMMs) like GPT-4o has sparked considerable interest in efficient LMMs. LMM frameworks typically encode visual inputs into vision tokens (continuous representations) and integrate them and textual instructions into the context of large language models (LLMs), where large-scale parameters and numerous context tokens (predominantly vision tokens) result in substantial computational overhead. Previous efforts towards efficient LMMs always focus on replacing the LLM backbone with smaller models, while neglecting the crucial issue of token quantity. In this paper, we introduce LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high compression ratio of vision tokens while preserving visual information, we first analyze how LMMs understand vision tokens and find that most vision tokens only play a crucial role in the early layers of LLM backbone, where they mainly fuse visual information into text tokens. Building on this finding, LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. LLaVA-Mini is a unified large multimodal model that can support the understanding of images, high-resolution images, and videos in an efficient manner. Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.