더 작은 언어 모델이 더 나은 지시 진화자들이다.

초록

지침 조정은 대형 언어 모델의 완전한 잠재력을 발휘하는 데 널리 사용되어 왔습니다. 특히 복잡하고 다양한 지침은 다양한 하류 작업과 모델을 효과적으로 조정할 수 있기 때문에 중요합니다. 그러나 현재 대규모 지침을 구축하는 방법은 주로 GPT-4와 같은 강력한 모델이나 700억 개 이상의 매개변수를 갖춘 모델을 선호하며, 이는 이러한 대형 언어 모델(LLM)이 본질적으로 향상된 능력을 갖고 있다는 경험적 가정에 따릅니다. 본 연구에서는 이러한 일반적인 가정을 의심하고 지침 진화의 맥락에서 작은 언어 모델(SLM)의 잠재력을 깊이 탐구합니다. 지침 진화의 세 가지 시나리오를 횡단하는 광범위한 실험에서 작은 언어 모델(SLM)이 LLM보다 효과적인 지침을 종합할 수 있다는 것을 밝혀냅니다. 추가적인 분석에서 SLM이 지침 진화 중에 더 복잡하고 다양한 변형을 생성할 수 있는 더 넓은 출력 공간을 갖고 있다는 것을 확인합니다. 또한 기존의 측정 항목이 지침의 영향에 중점을 두지 못하는 것을 관찰합니다. 따라서 우리는 지침 복잡성을 도입하여 지침 데이터의 효과를 더 정확하게 평가하는 IC-IFD(Instruction Complex-Aware IFD)를 제안합니다. 소스 코드는 다음에서 확인할 수 있습니다: https://github.com/HypherX/Evolution-Analysis

English

Instruction tuning has been widely used to unleash the complete potential of large language models. Notably, complex and diverse instructions are of significant importance as they can effectively align models with various downstream tasks. However, current approaches to constructing large-scale instructions predominantly favour powerful models such as GPT-4 or those with over 70 billion parameters, under the empirical presumption that such larger language models (LLMs) inherently possess enhanced capabilities. In this study, we question this prevalent assumption and conduct an in-depth exploration into the potential of smaller language models (SLMs) in the context of instruction evolution. Extensive experiments across three scenarios of instruction evolution reveal that smaller language models (SLMs) can synthesize more effective instructions than LLMs. Further analysis demonstrates that SLMs possess a broader output space during instruction evolution, resulting in more complex and diverse variants. We also observe that the existing metrics fail to focus on the impact of the instructions. Thus, we propose Instruction Complex-Aware IFD (IC-IFD), which introduces instruction complexity in the original IFD score to evaluate the effectiveness of instruction data more accurately. Our source code is available at: https://github.com/HypherX/Evolution-Analysis{https://github.com/HypherX/Evolution-Analysis}

더 작은 언어 모델이 더 나은 지시 진화자들이다.

Smaller Language Models Are Better Instruction Evolvers

초록

Support