Ottimizzazione delle preferenze a ricompensa ponderata per la fusione implicita dei modelli.

Weighted-Reward Preference Optimization for Implicit Model Fusion

December 4, 2024

Autori: Ziyi Yang, Fanqi Wan, Longguang Zhong, Tianyuan Shi, Xiaojun Quan

cs.AI

Abstract

L'unione di LLM open-source eterogenei con architetture e dimensioni variabili potrebbe integrare i punti di forza di modelli diversi, ma i metodi di fusione esistenti affrontano sfide significative, come l'allineamento del vocabolario e la fusione delle matrici di distribuzione. Queste procedure non solo sono complesse, ma anche suscettibili di introdurre rumore ed errori. In questo articolo, proponiamo un metodo di fusione implicito, Ottimizzazione delle Preferenze con Ricompensa Ponderata (WRPO), che sfrutta l'ottimizzazione delle preferenze tra i LLM di origine e il LLM di destinazione per trasferire le loro capacità in modo efficace. WRPO elimina la necessità di allineamento del vocabolario e fusione delle matrici ed è in grado di essere scalato efficientemente per ospitare vari LLM. Per affrontare le deviazioni distribuzionali tra i LLM di origine e di destinazione, WRPO introduce una strategia di adattamento progressivo che sposta gradualmente la dipendenza da esempi preferiti dal LLM di destinazione ai LLM di origine. Estesi esperimenti sui benchmark MT-Bench, AlpacaEval-2 e Arena-Hard dimostrano che WRPO supera costantemente i metodi esistenti di fusione delle conoscenze e vari baselines di fine-tuning. Applicato al modello target LLaMA3-8B-Instruct, WRPO raggiunge un tasso di vincita controllato dalla lunghezza del 55,9% contro GPT-4-Preview-1106 su AlpacaEval-2 e un tasso di vincita del 46,2% contro GPT-4-0314 su Arena-Hard. Il nostro codice è disponibile su https://github.com/SLIT-AI/WRPO.

English

While fusing heterogeneous open-source LLMs with varying architectures and sizes can potentially integrate the strengths of different models, existing fusion methods face significant challenges, such as vocabulary alignment and merging distribution matrices. These procedures are not only complex but also prone to introducing noise and errors. In this paper, we propose an implicit fusion method, Weighted-Reward Preference Optimization (WRPO), which leverages preference optimization between the source LLMs and the target LLM to transfer their capabilities effectively. WRPO eliminates the need for vocabulary alignment and matrix fusion and can be efficiently scaled to accommodate various LLMs. To address distributional deviations between the source and target LLMs, WRPO introduces a progressive adaptation strategy that gradually shifts reliance on preferred examples from the target LLM to the source LLMs. Extensive experiments on the MT-Bench, AlpacaEval-2, and Arena-Hard benchmarks demonstrate that WRPO consistently outperforms existing knowledge fusion methods and various fine-tuning baselines. When applied to LLaMA3-8B-Instruct as the target model, WRPO achieves a length-controlled win rate of 55.9% against GPT-4-Preview-1106 on AlpacaEval-2 and a win rate of 46.2% against GPT-4-0314 on Arena-Hard. Our code is available at https://github.com/SLIT-AI/WRPO.