NVILA: Modelos de Linguagem Visual de Fronteira Eficiente

NVILA: Efficient Frontier Visual Language Models

December 5, 2024

Autores: Zhijian Liu, Ligeng Zhu, Baifeng Shi, Zhuoyang Zhang, Yuming Lou, Shang Yang, Haocheng Xi, Shiyi Cao, Yuxian Gu, Dacheng Li, Xiuyu Li, Yunhao Fang, Yukang Chen, Cheng-Yu Hsieh, De-An Huang, An-Chieh Cheng, Vishwesh Nath, Jinyi Hu, Sifei Liu, Ranjay Krishna, Daguang Xu, Xiaolong Wang, Pavlo Molchanov, Jan Kautz, Hongxu Yin, Song Han, Yao Lu

cs.AI

Resumo

Os modelos de linguagem visual (VLMs) tiveram avanços significativos em precisão nos últimos anos. No entanto, sua eficiência recebeu muito menos atenção. Este artigo apresenta o NVILA, uma família de VLMs abertos projetados para otimizar tanto a eficiência quanto a precisão. Construindo em cima do VILA, melhoramos sua arquitetura de modelo primeiro escalando as resoluções espaciais e temporais e depois comprimindo tokens visuais. Esta abordagem "escalar e depois comprimir" permite que o NVILA processe eficientemente imagens de alta resolução e vídeos longos. Também realizamos uma investigação sistemática para aprimorar a eficiência do NVILA ao longo de todo o seu ciclo de vida, desde o treinamento e ajuste fino até a implantação. O NVILA corresponde ou supera a precisão de muitos dos principais VLMs abertos e proprietários em uma ampla gama de benchmarks de imagem e vídeo. Ao mesmo tempo, reduz os custos de treinamento em 4,5 vezes, o uso de memória para ajuste fino em 3,4 vezes, a latência de pré-preenchimento em 1,6-2,2 vezes e a latência de decodificação em 1,2-2,8 vezes. Em breve disponibilizaremos nosso código e modelos para facilitar a reprodução.

English

Visual language models (VLMs) have made significant advances in accuracy in recent years. However, their efficiency has received much less attention. This paper introduces NVILA, a family of open VLMs designed to optimize both efficiency and accuracy. Building on top of VILA, we improve its model architecture by first scaling up the spatial and temporal resolutions, and then compressing visual tokens. This "scale-then-compress" approach enables NVILA to efficiently process high-resolution images and long videos. We also conduct a systematic investigation to enhance the efficiency of NVILA throughout its entire lifecycle, from training and fine-tuning to deployment. NVILA matches or surpasses the accuracy of many leading open and proprietary VLMs across a wide range of image and video benchmarks. At the same time, it reduces training costs by 4.5X, fine-tuning memory usage by 3.4X, pre-filling latency by 1.6-2.2X, and decoding latency by 1.2-2.8X. We will soon make our code and models available to facilitate reproducibility.