Sul Post-Training Specifico del Dominio per Modelli Linguistici Multimodali di Grandi Dimensioni

On Domain-Specific Post-Training for Multimodal Large Language Models

November 29, 2024

Autori: Daixuan Cheng, Shaohan Huang, Ziyu Zhu, Xintong Zhang, Wayne Xin Zhao, Zhongzhi Luan, Bo Dai, Zhenliang Zhang

cs.AI

Abstract

Gli ultimi anni hanno visto lo sviluppo rapido di modelli linguistici multimodali di grandi dimensioni (MLLM) generali. Tuttavia, l'adattamento dei MLLM generali a specifici domini, come campi scientifici e applicazioni industriali, rimane poco esplorato. Questo articolo investiga sistematicamente l'adattamento di dominio dei MLLM attraverso il post-training, concentrandosi sulla sintesi dei dati, i flussi di addestramento e la valutazione delle attività. (1) Sintesi dei dati: Utilizzando modelli open-source, sviluppiamo un sintetizzatore di istruzioni visive che genera efficacemente diverse attività di istruzioni visive da coppie immagine-didascalia specifiche del dominio. Le nostre attività sintetiche superano quelle generate da regole manuali, GPT-4 e GPT-4V nel migliorare le prestazioni specifiche del dominio dei MLLM. (2) Flusso di addestramento: Mentre l'addestramento a due fasi - inizialmente su coppie immagine-didascalia seguite da attività di istruzioni visive - è comunemente adottato per lo sviluppo di MLLM generali, applichiamo un flusso di addestramento a singolo stadio per migliorare la diversità delle attività per il post-training specifico del dominio. (3) Valutazione delle attività: Conduciamo esperimenti in due domini, biomedicina e alimentazione, post-trainando MLLM di diverse fonti e dimensioni (ad esempio, Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), e quindi valutando le prestazioni dei MLLM su varie attività specifiche del dominio. Per supportare ulteriori ricerche sull'adattamento di dominio dei MLLM, renderemo open-source le nostre implementazioni.

English

Recent years have witnessed the rapid development of general multimodal large language models (MLLMs). However, adapting general MLLMs to specific domains, such as scientific fields and industrial applications, remains less explored. This paper systematically investigates domain adaptation of MLLMs through post-training, focusing on data synthesis, training pipelines, and task evaluation. (1) Data Synthesis: Using open-source models, we develop a visual instruction synthesizer that effectively generates diverse visual instruction tasks from domain-specific image-caption pairs. Our synthetic tasks surpass those generated by manual rules, GPT-4, and GPT-4V in enhancing the domain-specific performance of MLLMs. (2) Training Pipeline: While the two-stage training--initially on image-caption pairs followed by visual instruction tasks--is commonly adopted for developing general MLLMs, we apply a single-stage training pipeline to enhance task diversity for domain-specific post-training. (3) Task Evaluation: We conduct experiments in two domains, biomedicine and food, by post-training MLLMs of different sources and scales (e.g., Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), and then evaluating MLLM performance on various domain-specific tasks. To support further research in MLLM domain adaptation, we will open-source our implementations.