Condor: Verbesserung der LLM-Ausrichtung durch wissensgesteuerte Datensynthese und -verfeinerung

Condor: Enhance LLM Alignment with Knowledge-Driven Data Synthesis and Refinement

January 21, 2025

Autoren: Maosong Cao, Taolin Zhang, Mo Li, Chuyu Zhang, Yunxin Liu, Haodong Duan, Songyang Zhang, Kai Chen

cs.AI

Zusammenfassung

Die Qualität der überwachten Feinabstimmungsdaten (SFT) spielt eine entscheidende Rolle bei der Verbesserung der Konversationsfähigkeiten großer Sprachmodelle (LLMs). Mit zunehmender Entwicklung der LLMs ist die Verfügbarkeit hochwertiger, menschenannotierter SFT-Daten zu einem signifikanten Engpass geworden, der eine verstärkte Nutzung synthetischer Trainingsdaten erforderlich macht. In dieser Arbeit stellen wir Condor vor, ein neuartiges zweistufiges Framework zur Generierung synthetischer Daten, das den World Knowledge Tree und die Self-Reflection Refinement integriert, um hochwertige SFT-Daten im großen Maßstab zu erzeugen. Unsere experimentellen Ergebnisse zeigen, dass ein Basismodell, das nur auf 20K von Condor generierten Proben feinabgestimmt ist, eine überlegene Leistung im Vergleich zu Konkurrenten erzielt. Die zusätzliche Verfeinerungsstufe in Condor ermöglicht zudem eine iterative Selbstverbesserung für LLMs in verschiedenen Maßstäben (bis zu 72B), was die Wirksamkeit unseres Ansatzes bestätigt. Darüber hinaus zeigt unsere Untersuchung zur Skalierung synthetischer Daten in der Post-Training-Phase ein erhebliches, noch unerforschtes Potenzial für Leistungsverbesserungen auf und eröffnet vielversprechende Wege für zukünftige Forschung.

English

The quality of Supervised Fine-Tuning (SFT) data plays a critical role in enhancing the conversational capabilities of Large Language Models (LLMs). However, as LLMs become more advanced, the availability of high-quality human-annotated SFT data has become a significant bottleneck, necessitating a greater reliance on synthetic training data. In this work, we introduce Condor, a novel two-stage synthetic data generation framework that incorporates World Knowledge Tree and Self-Reflection Refinement to produce high-quality SFT data at scale. Our experimental results demonstrate that a base model fine-tuned on only 20K Condor-generated samples achieves superior performance compared to counterparts. The additional refinement stage in Condor further enables iterative self-improvement for LLMs at various scales (up to 72B), validating the effectiveness of our approach. Furthermore, our investigation into the scaling for synthetic data in post-training reveals substantial unexplored potential for performance improvements, opening promising avenues for future research.