LLaVA-UHD v2：階層ウィンドウトランスフォーマーを介した高解像度特徴ピラミッドを統合するMLLM

LLaVA-UHD v2: an MLLM Integrating High-Resolution Feature Pyramid via Hierarchical Window Transformer

December 18, 2024

著者: Yipeng Zhang, Yifan Liu, Zonghao Guo, Yidan Zhang, Xuesong Yang, Chi Chen, Jun Song, Bo Zheng, Yuan Yao, Zhiyuan Liu, Tat-Seng Chua, Maosong Sun

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLMs）では、ビジョン・トランスフォーマー（ViTs）が視覚エンコーディングに広く使用されています。しかし、これらのモデルが普遍的なMLLMタスクを解決する性能は満足できるものではありません。我々は、言語生成に必要な様々な意味的粒度との整合性を妨げる、多様な視覚レベルからの情報の不足に起因すると考えています。この問題に対処するために、Hierarchical window transformerを中心とする高度なMLLMであるLLaVA-UHD v2を提案します。Hierarchical window transformerは、高解像度の特徴ピラミッドを構築して統合することで、多様な視覚的粒度を捉えることを可能にします。ビジョン-言語プロジェクタとしてのHiwin transformerは、次の2つの主要モジュールから構成されます：（i）ViT由来の特徴アップサンプリングプロセスによって構築された逆特徴ピラミッド、および（ii）階層的ウィンドウアテンションは、クロススケールウィンドウ内の一連の主要サンプリング特徴に焦点を当て、多レベルの特徴マップを縮約します。広範な実験により、LLaVA-UHD v2が一般的なベンチマークで既存のMLLMに比べて優れた性能を達成することが示されました。特に、我々の設計は、14のベンチマーク全体でベースライン手法と比較して平均で3.7％の向上をもたらし、例えばDocVQAでは9.3％の向上が見られました。今後の研究を促進するために、すべてのデータ、モデルチェックポイント、コードを公開しています。

English

In multimodal large language models (MLLMs), vision transformers (ViTs) are widely employed for visual encoding. However, their performance in solving universal MLLM tasks is not satisfactory. We attribute it to a lack of information from diverse visual levels, impeding alignment with the various semantic granularity required for language generation. To address this issue, we present LLaVA-UHD v2, an advanced MLLM centered around a Hierarchical window transformer that enables capturing diverse visual granularity by constructing and integrating a high-resolution feature pyramid. As a vision-language projector, Hiwin transformer comprises two primary modules: (i) an inverse feature pyramid, constructed by a ViT-derived feature up-sampling process utilizing high-frequency details from an image pyramid, and (ii) hierarchical window attention, focusing on a set of key sampling features within cross-scale windows to condense multi-level feature maps. Extensive experiments demonstrate that LLaVA-UHD v2 achieves superior performance over existing MLLMs on popular benchmarks. Notably, our design brings an average boost of 3.7% across 14 benchmarks compared with the baseline method, 9.3% on DocVQA for instance. We make all the data, model checkpoint, and code publicly available to facilitate future research.