NVILA: Effiziente Visual Language Modelle

NVILA: Efficient Frontier Visual Language Models

December 5, 2024

Autoren: Zhijian Liu, Ligeng Zhu, Baifeng Shi, Zhuoyang Zhang, Yuming Lou, Shang Yang, Haocheng Xi, Shiyi Cao, Yuxian Gu, Dacheng Li, Xiuyu Li, Yunhao Fang, Yukang Chen, Cheng-Yu Hsieh, De-An Huang, An-Chieh Cheng, Vishwesh Nath, Jinyi Hu, Sifei Liu, Ranjay Krishna, Daguang Xu, Xiaolong Wang, Pavlo Molchanov, Jan Kautz, Hongxu Yin, Song Han, Yao Lu

cs.AI

Zusammenfassung

Visuelle Sprachmodelle (VLMs) haben in den letzten Jahren signifikante Fortschritte in Bezug auf Genauigkeit gemacht. Ihre Effizienz hingegen wurde deutlich weniger beachtet. Dieses Paper stellt NVILA vor, eine Familie von offenen VLMs, die darauf ausgelegt sind, sowohl Effizienz als auch Genauigkeit zu optimieren. Aufbauend auf VILA verbessern wir dessen Modellarchitektur, indem wir zunächst die räumlichen und zeitlichen Auflösungen erhöhen und dann visuelle Tokens komprimieren. Dieser "Skalieren-und-Komprimieren"-Ansatz ermöglicht es NVILA, hochauflösende Bilder und lange Videos effizient zu verarbeiten. Wir führen auch eine systematische Untersuchung durch, um die Effizienz von NVILA während seines gesamten Lebenszyklus, von Training und Feinabstimmung bis hin zur Bereitstellung, zu verbessern. NVILA erreicht oder übertrifft die Genauigkeit vieler führender offener und proprietärer VLMs in einer Vielzahl von Bild- und Video-Benchmarks. Gleichzeitig reduziert es die Trainingskosten um das 4,5-fache, den Speicherverbrauch bei der Feinabstimmung um das 3,4-fache, die Latenz beim Vorabfüllen um das 1,6- bis 2,2-fache und die Decodierungs-Latenz um das 1,2- bis 2,8-fache. Wir werden in Kürze unseren Code und unsere Modelle zur Verfügung stellen, um die Reproduzierbarkeit zu erleichtern.

English

Visual language models (VLMs) have made significant advances in accuracy in recent years. However, their efficiency has received much less attention. This paper introduces NVILA, a family of open VLMs designed to optimize both efficiency and accuracy. Building on top of VILA, we improve its model architecture by first scaling up the spatial and temporal resolutions, and then compressing visual tokens. This "scale-then-compress" approach enables NVILA to efficiently process high-resolution images and long videos. We also conduct a systematic investigation to enhance the efficiency of NVILA throughout its entire lifecycle, from training and fine-tuning to deployment. NVILA matches or surpasses the accuracy of many leading open and proprietary VLMs across a wide range of image and video benchmarks. At the same time, it reduces training costs by 4.5X, fine-tuning memory usage by 3.4X, pre-filling latency by 1.6-2.2X, and decoding latency by 1.2-2.8X. We will soon make our code and models available to facilitate reproducibility.