Les modèles plus puissants ne sont PAS de meilleurs enseignants pour l'ajustement de l'instruction.

Stronger Models are NOT Stronger Teachers for Instruction Tuning

November 11, 2024

Auteurs: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Résumé

L'optimisation des instructions a été largement adoptée pour garantir que les grands modèles de langage (LLM) suivent efficacement les instructions des utilisateurs. Les capacités de suivi des instructions résultantes des LLM dépendent fortement des ensembles de données d'instructions utilisés pour l'optimisation. Récemment, des ensembles de données d'instructions synthétiques ont émergé comme une solution économiquement viable pour fournir aux LLM des instructions diverses et de haute qualité. Cependant, les approches existantes supposent généralement que des modèles plus grands ou plus puissants sont de meilleurs enseignants pour l'optimisation des instructions, et adoptent donc simplement ces modèles comme générateurs de réponses aux instructions synthétiques. Dans cet article, nous remettons en question cette hypothèse couramment adoptée. Nos expériences approfondies sur cinq modèles de base et vingt générateurs de réponses révèlent que des modèles plus grands et plus puissants ne sont pas nécessairement de meilleurs enseignants pour les modèles plus petits. Nous appelons ce phénomène le Paradoxe des Modèles Plus Grands. Nous observons que les métriques existantes ne peuvent pas prédire précisément l'efficacité des générateurs de réponses car elles ignorent la compatibilité entre les enseignants et les modèles de base en cours de réglage fin. Nous développons donc une nouvelle métrique, appelée Récompense Ajustée pour la Compatibilité (RAC), pour mesurer l'efficacité des générateurs de réponses. Nos expériences sur cinq modèles de base démontrent que le RAC surpasse presque toutes les références.

English

Instruction tuning has been widely adopted to ensure large language models (LLMs) follow user instructions effectively. The resulting instruction-following capabilities of LLMs heavily rely on the instruction datasets used for tuning. Recently, synthetic instruction datasets have emerged as an economically viable solution to provide LLMs diverse and high-quality instructions. However, existing approaches typically assume that larger or stronger models are stronger teachers for instruction tuning, and hence simply adopt these models as response generators to the synthetic instructions. In this paper, we challenge this commonly-adopted assumption. Our extensive experiments across five base models and twenty response generators reveal that larger and stronger models are not necessarily stronger teachers of smaller models. We refer to this phenomenon as the Larger Models' Paradox. We observe that existing metrics cannot precisely predict the effectiveness of response generators since they ignore the compatibility between teachers and base models being fine-tuned. We thus develop a novel metric, named as Compatibility-Adjusted Reward (CAR) to measure the effectiveness of response generators. Our experiments across five base models demonstrate that CAR outperforms almost all baselines.