Krachtigere modellen zijn GEEN betere leraren voor instructieafstemming.

Stronger Models are NOT Stronger Teachers for Instruction Tuning

November 11, 2024

Auteurs: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Samenvatting

Instructieafstemming is wijdverspreid aangenomen om ervoor te zorgen dat grote taalmodellen (LLM's) gebruikersinstructies effectief opvolgen. De resulterende instructievolgcapaciteiten van LLM's zijn sterk afhankelijk van de instructiedatasets die worden gebruikt voor afstemming. Onlangs zijn synthetische instructiedatasets opgekomen als een economisch haalbare oplossing om LLM's diverse en hoogwaardige instructies te bieden. Bestaande benaderingen gaan echter doorgaans uit van de veronderstelling dat grotere of krachtigere modellen betere leraren zijn voor instructieafstemming, en nemen daarom eenvoudigweg deze modellen over als responsopwekkers voor de synthetische instructies. In dit artikel dagen we deze veel aangenomen veronderstelling uit. Onze uitgebreide experimenten met vijf basismodellen en twintig responsopwekkers tonen aan dat grotere en krachtigere modellen niet per se betere leraren zijn voor kleinere modellen. Wij verwijzen naar dit fenomeen als het Paradox van Grotere Modellen. We merken op dat bestaande metrieken niet nauwkeurig de effectiviteit van responsopwekkers kunnen voorspellen, omdat ze de compatibiliteit tussen leraren en basismodellen die worden fijnafgestemd negeren. We ontwikkelen daarom een nieuwe metriek, genaamd Compatibiliteits-Aangepaste Beloning (CAR) om de effectiviteit van responsopwekkers te meten. Onze experimenten met vijf basismodellen tonen aan dat CAR bijna alle baselines overtreft.

English

Instruction tuning has been widely adopted to ensure large language models (LLMs) follow user instructions effectively. The resulting instruction-following capabilities of LLMs heavily rely on the instruction datasets used for tuning. Recently, synthetic instruction datasets have emerged as an economically viable solution to provide LLMs diverse and high-quality instructions. However, existing approaches typically assume that larger or stronger models are stronger teachers for instruction tuning, and hence simply adopt these models as response generators to the synthetic instructions. In this paper, we challenge this commonly-adopted assumption. Our extensive experiments across five base models and twenty response generators reveal that larger and stronger models are not necessarily stronger teachers of smaller models. We refer to this phenomenon as the Larger Models' Paradox. We observe that existing metrics cannot precisely predict the effectiveness of response generators since they ignore the compatibility between teachers and base models being fine-tuned. We thus develop a novel metric, named as Compatibility-Adjusted Reward (CAR) to measure the effectiveness of response generators. Our experiments across five base models demonstrate that CAR outperforms almost all baselines.