FuseChat-3.0: Оптимизация предпочтений и слияние гетерогенных моделей

FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion

March 6, 2025

Авторы: Ziyi Yang, Fanqi Wan, Longguang Zhong, Canbin Huang, Guosheng Liang, Xiaojun Quan

cs.AI

Аннотация

Мы представляем FuseChat-3.0 — набор крупных языковых моделей (LLM), разработанных путем интеграции сильных сторон разнородных исходных LLM в более компактные целевые LLM. В качестве исходных моделей используются мощные Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct и Llama-3.1-70B-Instruct. Для целевых моделей мы сосредоточились на трех широко используемых компактных вариантах — Llama-3.1-8B-Instruct, Gemma-2-9B-it и Qwen-2.5-7B-Instruct — а также на двух ультракомпактных моделях: Llama-3.2-3B-Instruct и Llama-3.2-1B-Instruct. Чтобы максимально использовать разнообразные возможности этих исходных моделей, мы разработали специализированный протокол построения данных, адаптированный для различных задач и областей. Процесс обучения FuseChat-3.0 состоит из двух ключевых этапов: (1) контролируемой тонкой настройки (SFT) для согласования распределений целевой и исходной моделей и (2) оптимизации прямых предпочтений (DPO) для применения предпочтений от нескольких исходных LLM к тонкой настройке целевой модели. Полученные модели FuseChat-3.0 демонстрируют значительное улучшение производительности в таких задачах, как выполнение инструкций, общие знания, математика и программирование. Как показано на Рисунке 1, при использовании Llama-3.1-8B-Instruct в качестве целевой модели наш подход к слиянию обеспечивает среднее улучшение на 6,8 балла по 14 тестам. Более того, он демонстрирует впечатляющие улучшения на 37,1 и 30,1 балла в тестах на выполнение инструкций AlpacaEval-2 и Arena-Hard соответственно. Наш код, модели и наборы данных доступны по адресу https://github.com/SLIT-AI/FuseChat-3.0.

English

We introduce FuseChat-3.0, a suite of large language models (LLMs) developed by integrating the strengths of heterogeneous source LLMs into more compact target LLMs. Our source models include the powerful Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct, and Llama-3.1-70B-Instruct. For target models, we focus on three widely-used smaller variants-Llama-3.1-8B-Instruct, Gemma-2-9B-it, and Qwen-2.5-7B-Instruct-along with two ultra-compact options, Llama-3.2-3B-Instruct and Llama-3.2-1B-Instruct. To leverage the diverse capabilities of these source models, we develop a specialized data construction protocol tailored to various tasks and domains. The FuseChat-3.0 training pipeline consists of two key stages: (1) supervised fine-tuning (SFT) to align the target and source model distributions, and (2) Direct Preference Optimization (DPO) to apply preferences from multiple source LLMs to fine-tune the target model. The resulting FuseChat-3.0 models exhibit significant performance gains across tasks such as instruction following, general knowledge, mathematics, and coding. As illustrated in Figure 1, using Llama-3.1-8B-Instruct as the target model, our fusion approach achieves an average improvement of 6.8 points across 14 benchmarks. Moreover, it demonstrates remarkable gains of 37.1 points and 30.1 points on the instruction-following benchmarks AlpacaEval-2 and Arena-Hard, respectively. Our code, models, and datasets are available at https://github.com/SLIT-AI/FuseChat-3.0.