Verkennen van Modelverwantschap voor het Samenvoegen van Grote Taalmodellen

Exploring Model Kinship for Merging Large Language Models

October 16, 2024

Auteurs: Yedi Hu, Yunzhi Yao, Ningyu Zhang, Shumin Deng, Huajun Chen

cs.AI

Samenvatting

Het samenvoegen van modellen is een van de belangrijkste technologieën geworden om de mogelijkheden en efficiëntie van Grote Taalmodellen (LLMs) te verbeteren. Onze kennis over de verwachte prestatieverbeteringen en principes bij het samenvoegen van willekeurige twee modellen blijft echter beperkt. In dit werk introduceren we modelverwantschap, de mate van gelijkenis of verwantschap tussen LLMs, analoog aan biologische evolutie. Met uitgebreide empirische analyse vinden we dat er een zekere relatie is tussen modelverwantschap en de prestatieverbeteringen na model samenvoeging, wat kan helpen bij het selecteren van kandidaatmodellen. Geïnspireerd hierdoor stellen we een nieuwe strategie voor model samenvoeging voor: Top-k Greedy Samenvoeging met Modelverwantschap, wat betere prestaties kan opleveren op benchmark datasets. Specifiek ontdekken we dat het gebruik van modelverwantschap als criterium ons kan helpen bij het continu uitvoeren van model samenvoeging, waardoor de degradatie (lokale optima) in model evolutie wordt verlicht, terwijl modelverwantschap kan dienen als gids om deze valkuilen te vermijden. De code is beschikbaar op https://github.com/zjunlp/ModelKinship.

English

Model merging has become one of the key technologies for enhancing the capabilities and efficiency of Large Language Models (LLMs). However, our understanding of the expected performance gains and principles when merging any two models remains limited. In this work, we introduce model kinship, the degree of similarity or relatedness between LLMs, analogous to biological evolution. With comprehensive empirical analysis, we find that there is a certain relationship between model kinship and the performance gains after model merging, which can help guide our selection of candidate models. Inspired by this, we propose a new model merging strategy: Top-k Greedy Merging with Model Kinship, which can yield better performance on benchmark datasets. Specifically, we discover that using model kinship as a criterion can assist us in continuously performing model merging, alleviating the degradation (local optima) in model evolution, whereas model kinship can serve as a guide to escape these traps. Code is available at https://github.com/zjunlp/ModelKinship.