Chimera: Migliorare il Modello Generalista con Esperti Specifici del Dominio

Chimera: Improving Generalist Model with Domain-Specific Experts

December 8, 2024

Autori: Tianshuo Peng, Mingsheng Li, Hongbin Zhou, Renqiu Xia, Renrui Zhang, Lei Bai, Song Mao, Bin Wang, Conghui He, Aojun Zhou, Botian Shi, Tao Chen, Bo Zhang, Xiangyu Yue

cs.AI

Abstract

Gli sviluppi recenti nei Large Multi-modal Models (LMMs) sottolineano l'importanza dello scaling mediante l'aumento dei dati accoppiati immagine-testo, ottenendo prestazioni impressionanti su compiti generali. Nonostante la loro efficacia in varie applicazioni, i modelli generalisti sono principalmente addestrati su dataset di scala web dominati da immagini naturali, con il risultato del sacrificio delle capacità specializzate per compiti specifici di dominio che richiedono una conoscenza preliminare estesa del dominio. Inoltre, l'integrazione diretta di modelli esperti personalizzati per specifici domini è impegnativa a causa del divario rappresentativo e dell'ottimizzazione sbilanciata tra il modello generalista e gli esperti. Per affrontare queste sfide, presentiamo Chimera, un pipeline multi-modale scalabile e a basso costo progettato per potenziare la capacità dei LMMs esistenti con esperti specifici del dominio. In particolare, progettiamo una strategia di addestramento progressiva per integrare le caratteristiche dei modelli esperti nell'input di un LMM generalista. Per affrontare l'ottimizzazione sbilanciata causata dall'encoder visivo generale ben allineato, introduciamo un meccanismo di Mascheramento di Collaborazione Generalista-Specialista (GSCM) innovativo. Ciò porta a un modello versatile che eccelle nei domini di grafico, tabella, matematica e documento, ottenendo prestazioni all'avanguardia su compiti di ragionamento multi-modale ed estrazione di contenuti visivi, entrambi compiti impegnativi per valutare i LMMs esistenti.

English

Recent advancements in Large Multi-modal Models (LMMs) underscore the importance of scaling by increasing image-text paired data, achieving impressive performance on general tasks. Despite their effectiveness in broad applications, generalist models are primarily trained on web-scale datasets dominated by natural images, resulting in the sacrifice of specialized capabilities for domain-specific tasks that require extensive domain prior knowledge. Moreover, directly integrating expert models tailored for specific domains is challenging due to the representational gap and imbalanced optimization between the generalist model and experts. To address these challenges, we introduce Chimera, a scalable and low-cost multi-modal pipeline designed to boost the ability of existing LMMs with domain-specific experts. Specifically, we design a progressive training strategy to integrate features from expert models into the input of a generalist LMM. To address the imbalanced optimization caused by the well-aligned general visual encoder, we introduce a novel Generalist-Specialist Collaboration Masking (GSCM) mechanism. This results in a versatile model that excels across the chart, table, math, and document domains, achieving state-of-the-art performance on multi-modal reasoning and visual content extraction tasks, both of which are challenging tasks for assessing existing LMMs.