LLaVA-Mini: 하나의 비전 토큰으로 효율적인 이미지 및 비디오 대규모 다중 모달 모델

LLaVA-Mini: Efficient Image and Video Large Multimodal Models with One Vision Token

January 7, 2025

저자: Shaolei Zhang, Qingkai Fang, Zhe Yang, Yang Feng

cs.AI

초록

실시간 대규모 다중 모달 모델(LMM)인 GPT-4o와 같은 모델의 등장은 효율적인 LMM에 대한 상당한 관심을 불러일으켰다. LMM 프레임워크는 일반적으로 시각 입력을 시각 토큰(연속적인 표현)으로 인코딩하고 이를 텍스트 지침과 함께 대형 언어 모델(LLM)의 맥락에 통합한다. 여기서 대규모 매개변수와 다수의 맥락 토큰(주로 시각 토큰)은 상당한 계산 오버헤드를 야기한다. 효율적인 LMM에 대한 이전 노력은 주로 LLM 백본을 작은 모델로 교체하는 데 초점을 맞추었으나 토큰 양이라는 중요한 문제를 간과했다. 본 논문에서는 시각 토큰을 최소화한 효율적인 LMM인 LLaVA-Mini를 소개한다. 시각 정보를 보존하면서 시각 토큰의 압축 비율을 높이기 위해 먼저 LMM이 시각 토큰을 어떻게 이해하는지 분석하고 대부분의 시각 토큰이 LLM 백본의 초기 레이어에서 주로 시각 정보를 텍스트 토큰으로 융합하는 데 중요한 역할을 한다는 사실을 발견했다. 이 발견을 기반으로 LLaVA-Mini는 시각 정보를 텍스트 토큰에 미리 융합하는 모달리티 사전 융합을 도입하여 LLM 백본에 공급되는 시각 토큰을 하나로 극도로 압축할 수 있도록 한다. LLaVA-Mini는 이미지, 고해상도 이미지 및 비디오의 이해를 효율적으로 지원할 수 있는 통합형 대규모 다중 모달 모델이다. 11개의 이미지 기반 벤치마크와 7개의 비디오 기반 벤치마크를 통한 실험 결과, LLaVA-Mini는 576개의 시각 토큰 대신 1개의 시각 토큰으로 LLaVA-v1.5를 능가함을 입증했다. 효율성 분석 결과, LLaVA-Mini는 FLOP를 77% 줄일 수 있으며, GPU 하드웨어에서 40밀리초 이내의 저지연 응답을 제공하며, 24GB 메모리를 갖춘 GPU 하드웨어에서 10,000프레임 이상의 비디오를 처리할 수 있다.

English

The advent of real-time large multimodal models (LMMs) like GPT-4o has sparked considerable interest in efficient LMMs. LMM frameworks typically encode visual inputs into vision tokens (continuous representations) and integrate them and textual instructions into the context of large language models (LLMs), where large-scale parameters and numerous context tokens (predominantly vision tokens) result in substantial computational overhead. Previous efforts towards efficient LMMs always focus on replacing the LLM backbone with smaller models, while neglecting the crucial issue of token quantity. In this paper, we introduce LLaVA-Mini, an efficient LMM with minimal vision tokens. To achieve a high compression ratio of vision tokens while preserving visual information, we first analyze how LMMs understand vision tokens and find that most vision tokens only play a crucial role in the early layers of LLM backbone, where they mainly fuse visual information into text tokens. Building on this finding, LLaVA-Mini introduces modality pre-fusion to fuse visual information into text tokens in advance, thereby facilitating the extreme compression of vision tokens fed to LLM backbone into one token. LLaVA-Mini is a unified large multimodal model that can support the understanding of images, high-resolution images, and videos in an efficient manner. Experiments across 11 image-based and 7 video-based benchmarks demonstrate that LLaVA-Mini outperforms LLaVA-v1.5 with just 1 vision token instead of 576. Efficiency analyses reveal that LLaVA-Mini can reduce FLOPs by 77%, deliver low-latency responses within 40 milliseconds, and process over 10,000 frames of video on the GPU hardware with 24GB of memory.