키메라: 도메인별 전문가를 활용한 일반 모델 개선

Chimera: Improving Generalist Model with Domain-Specific Experts

December 8, 2024

저자: Tianshuo Peng, Mingsheng Li, Hongbin Zhou, Renqiu Xia, Renrui Zhang, Lei Bai, Song Mao, Bin Wang, Conghui He, Aojun Zhou, Botian Shi, Tao Chen, Bo Zhang, Xiangyu Yue

cs.AI

초록

최근 대규모 다중 모달 모델(LMMs)의 발전은 이미지-텍스트 쌍 데이터를 증가시킴으로써 스케일링의 중요성을 강조하며, 일반적인 작업에서 인상적인 성능을 달성하고 있음을 보여줍니다. 일반적인 모델들은 다양한 응용 분야에서 효과적이지만, 주로 자연 이미지가 우세한 웹 규모 데이터셋에서 주로 훈련되어 전문 지식이 필요한 특정 도메인 작업을 위한 전문화된 능력을 희생하게 됩니다. 또한, 특정 도메인에 맞게 맞춤화된 전문가 모델을 직접 통합하는 것은 일반 모델과 전문가 간의 표현 갭과 균형이 맞지 않는 최적화로 인해 어려움을 겪습니다. 이러한 도전에 대처하기 위해 우리는 도메인별 전문가들과 함께 기존 LMMs의 능력을 강화하기 위해 설계된 확장 가능하고 저비용의 다중 모달 파이프라인인 Chimera를 소개합니다. 구체적으로, 전문가 모델의 특징을 일반적인 LMM의 입력에 통합하기 위한 점진적 훈련 전략을 설계합니다. 잘 맞춘 일반적인 시각 인코더로 인한 균형이 맞지 않는 최적화를 해결하기 위해 일반-전문가 협업 마스킹(GSCM) 메커니즘을 도입합니다. 이로써 차트, 표, 수학, 문서 도메인에서 뛰어난 성과를 거두며, 기존 LMMs를 평가하기 어려운 다중 모달 추론 및 시각 콘텐츠 추출 작업에서 최첨단 성능을 달성하는 다목적 모델이 탄생합니다.

English

Recent advancements in Large Multi-modal Models (LMMs) underscore the importance of scaling by increasing image-text paired data, achieving impressive performance on general tasks. Despite their effectiveness in broad applications, generalist models are primarily trained on web-scale datasets dominated by natural images, resulting in the sacrifice of specialized capabilities for domain-specific tasks that require extensive domain prior knowledge. Moreover, directly integrating expert models tailored for specific domains is challenging due to the representational gap and imbalanced optimization between the generalist model and experts. To address these challenges, we introduce Chimera, a scalable and low-cost multi-modal pipeline designed to boost the ability of existing LMMs with domain-specific experts. Specifically, we design a progressive training strategy to integrate features from expert models into the input of a generalist LMM. To address the imbalanced optimization caused by the well-aligned general visual encoder, we introduce a novel Generalist-Specialist Collaboration Masking (GSCM) mechanism. This results in a versatile model that excels across the chart, table, math, and document domains, achieving state-of-the-art performance on multi-modal reasoning and visual content extraction tasks, both of which are challenging tasks for assessing existing LMMs.