SemiEvol : Ajustement fin semi-supervisé pour l'adaptation de LLM

SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation

October 17, 2024

Auteurs: Junyu Luo, Xiao Luo, Xiusi Chen, Zhiping Xiao, Wei Ju, Ming Zhang

cs.AI

Résumé

Le réglage fin supervisé (SFS) est crucial pour adapter les grands modèles de langage (GML) à un domaine ou une tâche spécifique. Cependant, seule une quantité limitée de données étiquetées est disponible dans les applications pratiques, ce qui pose un défi majeur pour le SFS en termes de résultats satisfaisants. Par conséquent, un cadre efficace en données capable d'exploiter pleinement les données étiquetées et non étiquetées pour le réglage fin des GML est très attendu. Dans cette optique, nous introduisons un cadre de réglage fin semi-supervisé appelé SemiEvol pour l'adaptation des GML selon une approche de propagation et de sélection. Pour la propagation des connaissances, SemiEvol adopte une approche bi-niveau, propageant les connaissances des données étiquetées aux données non étiquetées à travers des méthodes de pondération interne et de contexte interne. Pour la sélection des connaissances, SemiEvol intègre un mécanisme d'apprentissage collaboratif, sélectionnant des échantillons de pseudo-réponses de meilleure qualité. Nous avons mené des expériences en utilisant GPT-4o-mini et Llama-3.1 sur sept ensembles de données généraux ou spécifiques à un domaine, démontrant des améliorations significatives des performances du modèle sur les données cibles. De plus, nous avons comparé SemiEvol avec le SFS et les méthodes d'auto-évolution, mettant en évidence sa praticité dans les scénarios de données hybrides.

English

Supervised fine-tuning (SFT) is crucial in adapting large language models (LLMs) to a specific domain or task. However, only a limited amount of labeled data is available in practical applications, which poses a severe challenge for SFT in yielding satisfactory results. Therefore, a data-efficient framework that can fully exploit labeled and unlabeled data for LLM fine-tuning is highly anticipated. Towards this end, we introduce a semi-supervised fine-tuning framework named SemiEvol for LLM adaptation from a propagate-and-select manner. For knowledge propagation, SemiEvol adopts a bi-level approach, propagating knowledge from labeled data to unlabeled data through both in-weight and in-context methods. For knowledge selection, SemiEvol incorporates a collaborative learning mechanism, selecting higher-quality pseudo-response samples. We conducted experiments using GPT-4o-mini and Llama-3.1 on seven general or domain-specific datasets, demonstrating significant improvements in model performance on target data. Furthermore, we compared SemiEvol with SFT and self-evolution methods, highlighting its practicality in hybrid data scenarios.