Espandere i Limiti delle Prestazioni dei Modelli Multimodali Open-Source con Scalabilità del Modello, dei Dati e del Tempo di Test.

Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling

December 6, 2024

Autori: Zhe Chen, Weiyun Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Erfei Cui, Jinguo Zhu, Shenglong Ye, Hao Tian, Zhaoyang Liu, Lixin Gu, Xuehui Wang, Qingyun Li, Yimin Ren, Zixuan Chen, Jiapeng Luo, Jiahao Wang, Tan Jiang, Bo Wang, Conghui He, Botian Shi, Xingcheng Zhang, Han Lv, Yi Wang, Wenqi Shao, Pei Chu, Zhongying Tu, Tong He, Zhiyong Wu, Huipeng Deng, Jiaye Ge, Kai Chen, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

Abstract

Presentiamo InternVL 2.5, un avanzato modello di linguaggio multimodale di grandi dimensioni (MLLM) che si basa su InternVL 2.0, mantenendo la sua architettura modello di base e introducendo significativi miglioramenti nelle strategie di addestramento e test, nonché nella qualità dei dati. In questo lavoro, approfondiamo il rapporto tra la scalabilità del modello e le prestazioni, esplorando sistematicamente le tendenze delle prestazioni negli encoder di visione, nei modelli di linguaggio, nelle dimensioni dei dataset e nelle configurazioni di test. Attraverso valutazioni approfondite su una vasta gamma di benchmark, inclusi il ragionamento multidisciplinare, la comprensione dei documenti, la comprensione multi-immagine/video, la comprensione del mondo reale, la rilevazione dell'allucinazione multimodale, l'ancoraggio visivo, le capacità multilingue e il puro trattamento del linguaggio, InternVL 2.5 mostra prestazioni competitive, competendo con i principali modelli commerciali come GPT-4o e Claude-3.5-Sonnet. In particolare, il nostro modello è il primo MLLM open-source a superare il 70% nel benchmark MMMU, ottenendo un miglioramento di 3,7 punti attraverso il ragionamento Chain-of-Thought (CoT) e mostrando un forte potenziale per la scalabilità nel test. Speriamo che questo modello contribuisca alla comunità open-source stabilendo nuovi standard per lo sviluppo e l'applicazione di sistemi AI multimodali. Per una dimostrazione di HuggingFace, vedere https://huggingface.co/spaces/OpenGVLab/InternVL

English

We introduce InternVL 2.5, an advanced multimodal large language model (MLLM) series that builds upon InternVL 2.0, maintaining its core model architecture while introducing significant enhancements in training and testing strategies as well as data quality. In this work, we delve into the relationship between model scaling and performance, systematically exploring the performance trends in vision encoders, language models, dataset sizes, and test-time configurations. Through extensive evaluations on a wide range of benchmarks, including multi-discipline reasoning, document understanding, multi-image / video understanding, real-world comprehension, multimodal hallucination detection, visual grounding, multilingual capabilities, and pure language processing, InternVL 2.5 exhibits competitive performance, rivaling leading commercial models such as GPT-4o and Claude-3.5-Sonnet. Notably, our model is the first open-source MLLMs to surpass 70% on the MMMU benchmark, achieving a 3.7-point improvement through Chain-of-Thought (CoT) reasoning and showcasing strong potential for test-time scaling. We hope this model contributes to the open-source community by setting new standards for developing and applying multimodal AI systems. HuggingFace demo see https://huggingface.co/spaces/OpenGVLab/InternVL