SemiEvol: Semi-begeleide Fijnafstemming voor LLM Aanpassing

SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation

October 17, 2024

Auteurs: Junyu Luo, Xiao Luo, Xiusi Chen, Zhiping Xiao, Wei Ju, Ming Zhang

cs.AI

Samenvatting

Supervised fine-tuning (SFT) is cruciaal bij het aanpassen van grote taalmodellen (LLM's) aan een specifiek domein of taak. Er is echter slechts een beperkte hoeveelheid gelabelde data beschikbaar in praktische toepassingen, wat een ernstige uitdaging vormt voor SFT om bevredigende resultaten op te leveren. Daarom wordt een data-efficiënt raamwerk dat gelabelde en ongelabelde data volledig kan benutten voor LLM-fine-tuning zeer verwacht. Met dit doel introduceren we een semi-supervised fine-tuning raamwerk genaamd SemiEvol voor LLM-aanpassing vanuit een propageren-en-selecteren benadering. Voor kennispropagatie neemt SemiEvol een tweeledige aanpak aan, waarbij kennis wordt overgedragen van gelabelde data naar ongelabelde data via zowel in-gewicht als in-context methoden. Voor kennisselectie omvat SemiEvol een samenwerkingsmechanisme, waarbij hogere kwaliteit pseudo-responsmonsters worden geselecteerd. We hebben experimenten uitgevoerd met GPT-4o-mini en Llama-3.1 op zeven algemene of domeinspecifieke datasets, waarbij significante verbeteringen in modelprestaties op doeldata werden aangetoond. Bovendien hebben we SemiEvol vergeleken met SFT en zelf-evolutiemethoden, waarbij de praktische toepasbaarheid ervan in hybride datasituaties werd benadrukt.

English

Supervised fine-tuning (SFT) is crucial in adapting large language models (LLMs) to a specific domain or task. However, only a limited amount of labeled data is available in practical applications, which poses a severe challenge for SFT in yielding satisfactory results. Therefore, a data-efficient framework that can fully exploit labeled and unlabeled data for LLM fine-tuning is highly anticipated. Towards this end, we introduce a semi-supervised fine-tuning framework named SemiEvol for LLM adaptation from a propagate-and-select manner. For knowledge propagation, SemiEvol adopts a bi-level approach, propagating knowledge from labeled data to unlabeled data through both in-weight and in-context methods. For knowledge selection, SemiEvol incorporates a collaborative learning mechanism, selecting higher-quality pseudo-response samples. We conducted experiments using GPT-4o-mini and Llama-3.1 on seven general or domain-specific datasets, demonstrating significant improvements in model performance on target data. Furthermore, we compared SemiEvol with SFT and self-evolution methods, highlighting its practicality in hybrid data scenarios.