SemiEvol: Halbüberwachtes Feintuning für die Anpassung von LLM

SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation

October 17, 2024

Autoren: Junyu Luo, Xiao Luo, Xiusi Chen, Zhiping Xiao, Wei Ju, Ming Zhang

cs.AI

Zusammenfassung

Das überwachte Feintuning (SFT) ist entscheidend, um große Sprachmodelle (LLMs) an eine spezifische Domäne oder Aufgabe anzupassen. Allerdings steht in praktischen Anwendungen nur eine begrenzte Menge an gelabelten Daten zur Verfügung, was eine ernsthafte Herausforderung für das SFT darstellt, um zufriedenstellende Ergebnisse zu erzielen. Daher wird ein dateneffizientes Framework dringend erwartet, das gelabelte und ungelabelte Daten vollständig für das Feintuning von LLMs nutzen kann. Zu diesem Zweck stellen wir ein semi-überwachtes Feintuning-Framework namens SemiEvol für die Anpassung von LLMs in einer Propagate-and-Select-Manier vor. Für die Wissensverbreitung übernimmt SemiEvol einen zweistufigen Ansatz, bei dem Wissen von gelabelten Daten auf ungelabelte Daten durch sowohl In-Gewicht- als auch In-Kontext-Methoden übertragen wird. Für die Wissensauswahl integriert SemiEvol einen kollaborativen Lernmechanismus, der qualitativ hochwertigere Pseudoantwortproben auswählt. Wir führten Experimente mit GPT-4o-mini und Llama-3.1 auf sieben allgemeinen oder domänenspezifischen Datensätzen durch, die signifikante Verbesserungen der Modellleistung auf den Ziel-Daten zeigten. Darüber hinaus verglichen wir SemiEvol mit SFT- und Selbstentwicklungs-Methoden und betonten dessen Praktikabilität in hybriden Datenszenarien.

English

Supervised fine-tuning (SFT) is crucial in adapting large language models (LLMs) to a specific domain or task. However, only a limited amount of labeled data is available in practical applications, which poses a severe challenge for SFT in yielding satisfactory results. Therefore, a data-efficient framework that can fully exploit labeled and unlabeled data for LLM fine-tuning is highly anticipated. Towards this end, we introduce a semi-supervised fine-tuning framework named SemiEvol for LLM adaptation from a propagate-and-select manner. For knowledge propagation, SemiEvol adopts a bi-level approach, propagating knowledge from labeled data to unlabeled data through both in-weight and in-context methods. For knowledge selection, SemiEvol incorporates a collaborative learning mechanism, selecting higher-quality pseudo-response samples. We conducted experiments using GPT-4o-mini and Llama-3.1 on seven general or domain-specific datasets, demonstrating significant improvements in model performance on target data. Furthermore, we compared SemiEvol with SFT and self-evolution methods, highlighting its practicality in hybrid data scenarios.