DistiLLM-2: Ein kontrastiver Ansatz verbessert die Destillation von LLMs

DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs

March 10, 2025

Autoren: Jongwoo Ko, Tianyi Chen, Sungnyun Kim, Tianyu Ding, Luming Liang, Ilya Zharkov, Se-Young Yun

cs.AI

Zusammenfassung

Trotz des Erfolgs der Destillation bei großen Sprachmodellen (LLMs) wenden die meisten bisherigen Arbeiten identische Verlustfunktionen sowohl auf Lehrer- als auch auf Schülergenerierte Daten an. Diese Strategien übersehen die Synergie zwischen Verlustformulierungen und Datentypen, was zu einer suboptimalen Leistungssteigerung in den Schülermodellen führt. Um dies zu beheben, schlagen wir DistiLLM-2 vor, einen kontrastiven Ansatz, der gleichzeitig die Wahrscheinlichkeit von Lehrerantworten erhöht und die von Schülerantworten verringert, indem er diese Synergie nutzt. Unsere umfangreichen Experimente zeigen, dass DistiLLM-2 nicht nur leistungsstarke Schülermodelle über eine breite Palette von Aufgaben hinweg aufbaut, einschließlich Befolgung von Anweisungen und Codegenerierung, sondern auch diverse Anwendungen unterstützt, wie Präferenzabgleich und Vision-Sprache-Erweiterungen. Diese Ergebnisse unterstreichen das Potenzial eines kontrastiven Ansatzes, um die Wirksamkeit der LLM-Destillation zu steigern, indem Lehrer- und Schülermodelle effektiv über verschiedene Datentypen hinweg ausgerichtet werden.

English

Despite the success of distillation in large language models (LLMs), most prior work applies identical loss functions to both teacher- and student-generated data. These strategies overlook the synergy between loss formulations and data types, leading to a suboptimal performance boost in student models. To address this, we propose DistiLLM-2, a contrastive approach that simultaneously increases the likelihood of teacher responses and decreases that of student responses by harnessing this synergy. Our extensive experiments show that DistiLLM-2 not only builds high-performing student models across a wide range of tasks, including instruction-following and code generation, but also supports diverse applications, such as preference alignment and vision-language extensions. These findings highlight the potential of a contrastive approach to enhance the efficacy of LLM distillation by effectively aligning teacher and student models across varied data types.