Kontrolliertes LLM: Kontrollierte Evolution zur Intelligenz-Bewahrung in LLM

Control LLM: Controlled Evolution for Intelligence Retention in LLM

January 19, 2025

Autoren: Haichao Wei, Yunxiang Ren, Zhoutong Fu, Aman Lunia, Yi-Lin Chen, Alice Leung, Ya Xu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) erfordern erhebliche Rechenressourcen, weshalb es entscheidend ist, ihre Fähigkeiten zu verbessern, ohne sie von Grund auf neu zu trainieren. Eine zentrale Herausforderung in diesem Bereich ist das katastrophale Vergessen (CF), das die Leistung während des kontinuierlichen Vortrainings (CPT) und des kontinuierlichen überwachten Feintunings (CSFT) beeinträchtigt. Wir schlagen Control LLM vor, einen neuartigen Ansatz, der auf parallel vorab trainierten und erweiterten Transformer-Blöcken basiert und ihre Hidden States durch Interpolationsstrategien ausrichtet. Diese Methode bewahrt effektiv die Leistung bei bestehenden Aufgaben, während sie neues Wissen nahtlos integriert. Umfangreiche Experimente zeigen die Wirksamkeit von Control LLM sowohl im CPT als auch im CSFT. Auf Llama3.1-8B-Instruct erzielt es signifikante Verbesserungen in mathematischem Denken (+14,4% bei Math-Hard) und Codierleistung (+10% bei MBPP-PLUS). Auf Llama3.1-8B verbessert es die mehrsprachigen Fähigkeiten (+10,6% bei C-Eval, +6,8% bei CMMLU und +30,2% bei CMMLU-0shot-CoT). Es übertrifft bestehende Methoden und erreicht den SOTA unter Open-Source-Modellen, die vom gleichen Basismodell abgestimmt wurden, wobei wesentlich weniger Daten und Rechenleistung verwendet werden. Diese Gewinne werden entscheidend realisiert, während starke ursprüngliche Fähigkeiten erhalten bleiben, mit minimaler Verschlechterung (<4,3% bei MMLU) im Vergleich zu >35% bei Open-Source Mathematik- und Codiermodellen. Dieser Ansatz wurde erfolgreich in den von LinkedIn betriebenen GenAI-gestützten Produkten für Jobsuchende und Anzeigen eingesetzt. Um weitere Forschung zu unterstützen, veröffentlichen wir den Trainings- und Evaluierungscode (https://github.com/linkedin/ControlLLM) zusammen mit Modellen, die auf öffentlichen Datensätzen trainiert wurden (https://huggingface.co/ControlLLM) für die Gemeinschaft.

English

Large Language Models (LLMs) demand significant computational resources, making it essential to enhance their capabilities without retraining from scratch. A key challenge in this domain is catastrophic forgetting (CF), which hampers performance during Continuous Pre-training (CPT) and Continuous Supervised Fine-Tuning (CSFT). We propose Control LLM, a novel approach that leverages parallel pre-trained and expanded transformer blocks, aligning their hidden-states through interpolation strategies This method effectively preserves performance on existing tasks while seamlessly integrating new knowledge. Extensive experiments demonstrate the effectiveness of Control LLM in both CPT and CSFT. On Llama3.1-8B-Instruct, it achieves significant improvements in mathematical reasoning (+14.4% on Math-Hard) and coding performance (+10% on MBPP-PLUS). On Llama3.1-8B, it enhances multilingual capabilities (+10.6% on C-Eval, +6.8% on CMMLU, and +30.2% on CMMLU-0shot-CoT). It surpasses existing methods and achieves SOTA among open-source models tuned from the same base model, using substantially less data and compute. Crucially, these gains are realized while preserving strong original capabilities, with minimal degradation (<4.3% on MMLU) compared to >35% in open-source Math and Coding models. This approach has been successfully deployed in LinkedIn's GenAI-powered job seeker and Ads unit products. To support further research, we release the training and evaluation code (https://github.com/linkedin/ControlLLM) along with models trained on public datasets ( https://huggingface.co/ControlLLM) to the community.