강력한 모델은 교육 조정을 위한 강력한 교사가 아닙니다.

Stronger Models are NOT Stronger Teachers for Instruction Tuning

November 11, 2024

저자: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

초록

지시 튜닝은 대형 언어 모델이 사용자 지시를 효과적으로 따르도록 보장하기 위해 널리 채택되었습니다. LLMs의 결과적인 지시 따르기 능력은 튜닝에 사용된 지시 데이터셋에 크게 의존합니다. 최근에는 합성 지시 데이터셋이 LLMs에 다양하고 고품질의 지시를 제공하는 경제적으로 실용적인 해결책으로 등장했습니다. 그러나 기존 방법은 일반적으로 크거나 강력한 모델이 지시 튜닝을 위한 강력한 교사라고 가정하고, 따라서 이러한 모델을 합성 지시에 대한 응답 생성기로 간단히 채택합니다. 본 논문에서는 이러한 흔히 채택된 가정에 도전합니다. 다섯 개의 기본 모델과 스무 개의 응답 생성기를 대상으로 한 광범위한 실험을 통해 크고 강력한 모델이 반드시 더 작은 모델의 강력한 교사가 되는 것은 아니라는 것을 밝혀냅니다. 우리는 이 현상을 '큰 모델의 역설'이라고 명명합니다. 우리는 존재하는 메트릭이 튜닝되는 기본 모델과 교사 간의 호환성을 무시하기 때문에 응답 생성기의 효과를 정확하게 예측할 수 없다는 것을 관찰합니다. 따라서 우리는 응답 생성기의 효과를 측정하기 위해 '호환성 조정 보상(CAR)'이라는 새로운 메트릭을 개발합니다. 다섯 개의 기본 모델을 대상으로 한 우리의 실험은 CAR이 거의 모든 기준선을 능가한다는 것을 보여줍니다.

English

Instruction tuning has been widely adopted to ensure large language models (LLMs) follow user instructions effectively. The resulting instruction-following capabilities of LLMs heavily rely on the instruction datasets used for tuning. Recently, synthetic instruction datasets have emerged as an economically viable solution to provide LLMs diverse and high-quality instructions. However, existing approaches typically assume that larger or stronger models are stronger teachers for instruction tuning, and hence simply adopt these models as response generators to the synthetic instructions. In this paper, we challenge this commonly-adopted assumption. Our extensive experiments across five base models and twenty response generators reveal that larger and stronger models are not necessarily stronger teachers of smaller models. We refer to this phenomenon as the Larger Models' Paradox. We observe that existing metrics cannot precisely predict the effectiveness of response generators since they ignore the compatibility between teachers and base models being fine-tuned. We thus develop a novel metric, named as Compatibility-Adjusted Reward (CAR) to measure the effectiveness of response generators. Our experiments across five base models demonstrate that CAR outperforms almost all baselines.