LLaVA-Mini: 1 つの Vision トークンを使用した効率的な画像とビデオの大規模マルチモーダルモデル

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

January 7, 2025

著者: Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng

cs.AI

要旨

リアルタイムの大規模多モーダルモデル（LMM）の登場、例えばGPT-4oのようなものが、効率的なLMMに対する大きな関心を引き起こしています。LMMフレームワークは通常、視覚入力をビジョントークン（連続表現）にエンコードし、それらを大規模言語モデル（LLMs）の文脈に統合します。ここで、大規模なパラメータと多数の文脈トークン（主にビジョントークン）が、膨大な計算オーバーヘッドをもたらします。これまでの効率的なLMMに向けられた努力は常に、LLMのバックボーンをより小さなモデルで置き換えることに焦点を当ててきましたが、トークンの量という重要な問題を無視してきました。本論文では、ビジョントークンを最小限に抑えた効率的なLMMであるLLaVA-Miniを紹介します。視覚情報を保持しつつビジョントークンの圧縮率を高くするために、まずLMMがビジョントークンをどのように理解しているかを分析し、ほとんどのビジョントークンがLLMバックボーンの初期層で重要な役割を果たしており、そこで主に視覚情報をテキストトークンに融合していることを見出しました。この発見に基づき、LLaVA-Miniはモダリティ事前融合を導入して、視覚情報を事前にテキストトークンに融合し、それによりLLMバックボーンに供給されるビジョントークンを1つに極限まで圧縮することを可能にします。LLaVA-Miniは、画像、高解像度画像、およびビデオの理解を効率的にサポートできる統合された大規模多モーダルモデルです。11つの画像ベースおよび7つのビデオベースのベンチマークを対象とした実験では、LLaVA-Miniが、576個のビジョントークンではなくわずか1つのビジョントークンでLLaVA-v1.5を上回ることが示されました。効率分析によると、LLaVA-MiniはFLOPを77%削減し、40ミリ秒以内の低遅延応答を提供し、24GBのメモリを搭載したGPUハードウェアで10,000フレーム以上のビデオを処理できます。

English

The advent of real-time large multimodal models (LMMs) like GPT-4o has sparked considerable interest in efficient LMMs. LMM frameworks typically encode visual inputs into vision tokens (continuous representations) and integrate them and textual instructions into the context of large language models (LLMs), where large-scale parameters and numerous context tokens (predominantly vision tokens) result in substantial computational overhead. Previous efforts towards efficient LMMs always focus on replacing the LLM backbone with smaller models, while neglecting the crucial issue of token quantity. In this paper, we introduce LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high compression ratio of vision tokens while preserving visual information, we first analyze how LMMs understand vision tokens and find that most vision tokens only play a crucial role in the early layers of LLM backbone, where they mainly fuse visual information into text tokens. Building on this finding, LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. LLaVA-Mini is a unified large multimodal model that can support the understanding of images, high-resolution images, and videos in an efficient manner. Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.