다중 모달 대형 언어 모델을 위한 도메인별 사후 훈련에 관한 연구

On Domain-Specific Post-Training for Multimodal Large Language Models

November 29, 2024

저자: Daixuan Cheng, Shaohan Huang, Ziyu Zhu, Xintong Zhang, Wayne Xin Zhao, Zhongzhi Luan, Bo Dai, Zhenliang Zhang

cs.AI

초록

최근 몇 년간 일반적인 다중 모달 대형 언어 모델(Multimodal Large Language Models, MLLMs)의 급속한 발전이 목격되었습니다. 그러나 과학 분야와 산업 응용 프로그램과 같은 특정 도메인에 대한 일반 MLLMs의 적응은 덜 탐구되어 왔습니다. 본 논문은 데이터 합성, 훈련 파이프라인 및 작업 평가에 초점을 맞춰 MLLMs의 도메인 적응을 체계적으로 조사합니다. (1) 데이터 합성: 오픈 소스 모델을 사용하여 도메인별 이미지 캡션 쌍에서 다양한 시각적 지시 작업을 효과적으로 생성하는 시각적 지시 합성기를 개발합니다. 저희의 합성 작업은 수동 규칙, GPT-4 및 GPT-4V로 생성된 작업을 뛰어넘어 MLLMs의 도메인별 성능을 향상시킵니다. (2) 훈련 파이프라인: 이미지 캡션 쌍에서 시작하여 시각적 지시 작업으로 이어지는 두 단계 훈련은 일반 MLLMs 개발에 일반적으로 채택되지만, 우리는 도메인별 후속 훈련의 작업 다양성을 향상시키기 위해 단일 단계 훈련 파이프라인을 적용합니다. (3) 작업 평가: 생명 과학 및 식품 두 도메인에서 Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B와 같은 다양한 소스 및 규모의 MLLMs를 후속 훈련하고 다양한 도메인별 작업에 대한 MLLM 성능을 평가합니다. MLLM 도메인 적응에 대한 추가 연구를 지원하기 위해 저희는 구현을 오픈 소스로 공개할 예정입니다.

English

Recent years have witnessed the rapid development of general multimodal large language models (MLLMs). However, adapting general MLLMs to specific domains, such as scientific fields and industrial applications, remains less explored. This paper systematically investigates domain adaptation of MLLMs through post-training, focusing on data synthesis, training pipelines, and task evaluation. (1) Data Synthesis: Using open-source models, we develop a visual instruction synthesizer that effectively generates diverse visual instruction tasks from domain-specific image-caption pairs. Our synthetic tasks surpass those generated by manual rules, GPT-4, and GPT-4V in enhancing the domain-specific performance of MLLMs. (2) Training Pipeline: While the two-stage training--initially on image-caption pairs followed by visual instruction tasks--is commonly adopted for developing general MLLMs, we apply a single-stage training pipeline to enhance task diversity for domain-specific post-training. (3) Task Evaluation: We conduct experiments in two domains, biomedicine and food, by post-training MLLMs of different sources and scales (e.g., Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), and then evaluating MLLM performance on various domain-specific tasks. To support further research in MLLM domain adaptation, we will open-source our implementations.