Stärkere Modelle sind KEINE besseren Lehrer für die Anpassung von Unterricht.

Stronger Models are NOT Stronger Teachers for Instruction Tuning

November 11, 2024

Autoren: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Zusammenfassung

Die Anpassung von Anweisungen wurde weit verbreitet übernommen, um sicherzustellen, dass große Sprachmodelle (LLMs) Benutzeranweisungen effektiv befolgen. Die daraus resultierenden Anweisungsfolgefähigkeiten von LLMs hängen stark von den für die Anpassung verwendeten Anweisungsdatensätzen ab. In letzter Zeit sind synthetische Anweisungsdatensätze als wirtschaftlich tragfähige Lösung aufgetaucht, um LLMs vielfältige und qualitativ hochwertige Anweisungen bereitzustellen. Allerdings gehen bestehende Ansätze typischerweise davon aus, dass größere oder stärkere Modelle bessere Lehrer für die Anpassung von Anweisungen sind und daher einfach diese Modelle als Antwortgeneratoren für die synthetischen Anweisungen übernehmen. In diesem Artikel fordern wir diese häufig angenommene Annahme heraus. Unsere umfangreichen Experimente über fünf Basismodelle und zwanzig Antwortgeneratoren zeigen, dass größere und stärkere Modelle nicht unbedingt bessere Lehrer für kleinere Modelle sind. Wir bezeichnen dieses Phänomen als das Paradox der größeren Modelle. Wir stellen fest, dass bestehende Metriken die Effektivität von Antwortgeneratoren nicht genau vorhersagen können, da sie die Kompatibilität zwischen Lehrern und den Basismodellen, die feinabgestimmt werden, ignorieren. Daher entwickeln wir eine neue Metrik namens Kompatibilitätsangepasste Belohnung (CAR), um die Effektivität von Antwortgeneratoren zu messen. Unsere Experimente über fünf Basismodelle zeigen, dass CAR fast alle Baselines übertrifft.

English

Instruction tuning has been widely adopted to ensure large language models (LLMs) follow user instructions effectively. The resulting instruction-following capabilities of LLMs heavily rely on the instruction datasets used for tuning. Recently, synthetic instruction datasets have emerged as an economically viable solution to provide LLMs diverse and high-quality instructions. However, existing approaches typically assume that larger or stronger models are stronger teachers for instruction tuning, and hence simply adopt these models as response generators to the synthetic instructions. In this paper, we challenge this commonly-adopted assumption. Our extensive experiments across five base models and twenty response generators reveal that larger and stronger models are not necessarily stronger teachers of smaller models. We refer to this phenomenon as the Larger Models' Paradox. We observe that existing metrics cannot precisely predict the effectiveness of response generators since they ignore the compatibility between teachers and base models being fine-tuned. We thus develop a novel metric, named as Compatibility-Adjusted Reward (CAR) to measure the effectiveness of response generators. Our experiments across five base models demonstrate that CAR outperforms almost all baselines.