InternVL3: Esplorazione di Metodologie Avanzate di Addestramento e Strategie in Fase di Test per Modelli Multimodali Open-Source

InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models

April 14, 2025

Autori: Jinguo Zhu, Weiyun Wang, Zhe Chen, Zhaoyang Liu, Shenglong Ye, Lixin Gu, Yuchen Duan, Hao Tian, Weijie Su, Jie Shao, Zhangwei Gao, Erfei Cui, Yue Cao, Yangzhou Liu, Weiye Xu, Hao Li, Jiahao Wang, Han Lv, Dengnian Chen, Songze Li, Yinan He, Tan Jiang, Jiapeng Luo, Yi Wang, Conghui He, Botian Shi, Xingcheng Zhang, Wenqi Shao, Junjun He, Yingtong Xiong, Wenwen Qu, Peng Sun, Penglong Jiao, Lijun Wu, Kaipeng Zhang, Huipeng Deng, Jiaye Ge, Kai Chen, Limin Wang, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

Abstract

Presentiamo InternVL3, un significativo progresso nella serie InternVL che introduce un paradigma nativo di pre-addestramento multimodale. Piuttosto che adattare un modello linguistico di grandi dimensioni (LLM) unicamente testuale in un modello linguistico multimodale di grandi dimensioni (MLLM) che supporti input visivi, InternVL3 acquisisce congiuntamente capacità multimodali e linguistiche sia da dati multimodali diversificati che da corpora di testo puro durante una singola fase di pre-addestramento. Questo paradigma di formazione unificato affronta efficacemente le complessità e le sfide di allineamento comunemente riscontrate nelle pipeline di addestramento post-hoc convenzionali per MLLM. Per migliorare ulteriormente le prestazioni e la scalabilità, InternVL3 incorpora una codifica variabile della posizione visiva (V2PE) per supportare contesti multimodali estesi, utilizza tecniche avanzate di post-addestramento come la messa a punto supervisionata (SFT) e l'ottimizzazione mista delle preferenze (MPO), e adotta strategie di scalabilità al momento del test insieme a un'infrastruttura di addestramento ottimizzata. Valutazioni empiriche estensive dimostrano che InternVL3 offre prestazioni superiori in un'ampia gamma di attività multimodali. In particolare, InternVL3-78B raggiunge un punteggio di 72,2 sul benchmark MMMU, stabilendo un nuovo stato dell'arte tra gli MLLM open-source. Le sue capacità rimangono altamente competitive rispetto ai principali modelli proprietari, tra cui ChatGPT-4o, Claude 3.5 Sonnet e Gemini 2.5 Pro, mantenendo anche una forte competenza linguistica pura. In linea con i principi della scienza aperta, renderemo pubblicamente disponibili sia i dati di addestramento che i pesi del modello per favorire ulteriori ricerche e sviluppi nei MLLM di prossima generazione.

English

We introduce InternVL3, a significant advancement in the InternVL series featuring a native multimodal pre-training paradigm. Rather than adapting a text-only large language model (LLM) into a multimodal large language model (MLLM) that supports visual inputs, InternVL3 jointly acquires multimodal and linguistic capabilities from both diverse multimodal data and pure-text corpora during a single pre-training stage. This unified training paradigm effectively addresses the complexities and alignment challenges commonly encountered in conventional post-hoc training pipelines for MLLMs. To further improve performance and scalability, InternVL3 incorporates variable visual position encoding (V2PE) to support extended multimodal contexts, employs advanced post-training techniques such as supervised fine-tuning (SFT) and mixed preference optimization (MPO), and adopts test-time scaling strategies alongside an optimized training infrastructure. Extensive empirical evaluations demonstrate that InternVL3 delivers superior performance across a wide range of multi-modal tasks. In particular, InternVL3-78B achieves a score of 72.2 on the MMMU benchmark, setting a new state-of-the-art among open-source MLLMs. Its capabilities remain highly competitive with leading proprietary models, including ChatGPT-4o, Claude 3.5 Sonnet, and Gemini 2.5 Pro, while also maintaining strong pure-language proficiency. In pursuit of open-science principles, we will publicly release both the training data and model weights to foster further research and development in next-generation MLLMs.