LLaVA-UHD v2: um MLLM que integra uma Pirâmide de Características de Alta Resolução via Transformador de Janelas Hierárquico

LLaVA-UHD v2: an MLLM Integrating High-Resolution Feature Pyramid via Hierarchical Window Transformer

December 18, 2024

Autores: Yipeng Zhang, Yifan Liu, Zonghao Guo, Yidan Zhang, Xuesong Yang, Chi Chen, Jun Song, Bo Zheng, Yuan Yao, Zhiyuan Liu, Tat-Seng Chua, Maosong Sun

cs.AI

Resumo

Nos modelos de linguagem multimodais de grande escala (MLLMs), os transformadores de visão (ViTs) são amplamente utilizados para codificação visual. No entanto, seu desempenho na resolução de tarefas universais de MLLM não é satisfatório. Atribuímos isso à falta de informações de diversos níveis visuais, dificultando o alinhamento com a variada granularidade semântica necessária para a geração de linguagem. Para abordar esse problema, apresentamos o LLaVA-UHD v2, um MLLM avançado centrado em torno de um transformador de janela hierárquico que permite capturar diversas granularidades visuais construindo e integrando uma pirâmide de características de alta resolução. Como um projetor de visão-linguagem, o transformador Hiwin é composto por dois módulos principais: (i) uma pirâmide de características inversa, construída por um processo de aumento de características derivadas do ViT utilizando detalhes de alta frequência de uma pirâmide de imagens, e (ii) atenção hierárquica de janela, focando em um conjunto de características de amostragem chave dentro de janelas entre escalas para condensar mapas de características multinível. Experimentos extensos demonstram que o LLaVA-UHD v2 alcança desempenho superior em relação aos MLLMs existentes em benchmarks populares. Notavelmente, nosso projeto traz um aumento médio de 3,7% em 14 benchmarks em comparação com o método base, 9,3% no DocVQA, por exemplo. Disponibilizamos todos os dados, checkpoints do modelo e código publicamente para facilitar pesquisas futuras.

English

In multimodal large language models (MLLMs), vision transformers (ViTs) are widely employed for visual encoding. However, their performance in solving universal MLLM tasks is not satisfactory. We attribute it to a lack of information from diverse visual levels, impeding alignment with the various semantic granularity required for language generation. To address this issue, we present LLaVA-UHD v2, an advanced MLLM centered around a Hierarchical window transformer that enables capturing diverse visual granularity by constructing and integrating a high-resolution feature pyramid. As a vision-language projector, Hiwin transformer comprises two primary modules: (i) an inverse feature pyramid, constructed by a ViT-derived feature up-sampling process utilizing high-frequency details from an image pyramid, and (ii) hierarchical window attention, focusing on a set of key sampling features within cross-scale windows to condense multi-level feature maps. Extensive experiments demonstrate that LLaVA-UHD v2 achieves superior performance over existing MLLMs on popular benchmarks. Notably, our design brings an average boost of 3.7% across 14 benchmarks compared with the baseline method, 9.3% on DocVQA for instance. We make all the data, model checkpoint, and code publicly available to facilitate future research.