I Modelli Linguistici Più Piccoli Sono Migliori Evolutori di Istruzioni

Smaller Language Models Are Better Instruction Evolvers

December 15, 2024

Autori: Tingfeng Hui, Lulu Zhao, Guanting Dong, Yaqi Zhang, Hua Zhou, Sen Su

cs.AI

Abstract

L'ottimizzazione delle istruzioni è stata ampiamente utilizzata per sbloccare il pieno potenziale dei grandi modelli linguistici. In particolare, istruzioni complesse e diverse sono di notevole importanza poiché possono allineare efficacemente i modelli con vari compiti successivi. Tuttavia, gli approcci attuali alla costruzione di istruzioni su larga scala favoriscono prevalentemente modelli potenti come il GPT-4 o quelli con oltre 70 miliardi di parametri, sotto la presunzione empirica che tali modelli linguistici di grandi dimensioni (LLM) possiedano intrinsecamente capacità migliorate. In questo studio, mettiamo in discussione questa diffusa assunzione e conduciamo un'esplorazione approfondita sul potenziale dei modelli linguistici più piccoli (SLM) nel contesto dell'evoluzione delle istruzioni. Esperimenti estesi su tre scenari di evoluzione delle istruzioni rivelano che i modelli linguistici più piccoli (SLM) possono sintetizzare istruzioni più efficaci rispetto ai LLM. Un'analisi ulteriore dimostra che gli SLM possiedono uno spazio di output più ampio durante l'evoluzione delle istruzioni, generando varianti più complesse e diverse. Osserviamo inoltre che le metriche esistenti non si concentrano sull'impatto delle istruzioni. Pertanto, proponiamo l'Instruction Complex-Aware IFD (IC-IFD), che introduce la complessità dell'istruzione nel punteggio IFD originale per valutare più accuratamente l'efficacia dei dati delle istruzioni. Il nostro codice sorgente è disponibile su: https://github.com/HypherX/Evolution-Analysis {https://github.com/HypherX/Evolution-Analysis}

English

Instruction tuning has been widely used to unleash the complete potential of large language models. Notably, complex and diverse instructions are of significant importance as they can effectively align models with various downstream tasks. However, current approaches to constructing large-scale instructions predominantly favour powerful models such as GPT-4 or those with over 70 billion parameters, under the empirical presumption that such larger language models (LLMs) inherently possess enhanced capabilities. In this study, we question this prevalent assumption and conduct an in-depth exploration into the potential of smaller language models (SLMs) in the context of instruction evolution. Extensive experiments across three scenarios of instruction evolution reveal that smaller language models (SLMs) can synthesize more effective instructions than LLMs. Further analysis demonstrates that SLMs possess a broader output space during instruction evolution, resulting in more complex and diverse variants. We also observe that the existing metrics fail to focus on the impact of the instructions. Thus, we propose Instruction Complex-Aware IFD (IC-IFD), which introduces instruction complexity in the original IFD score to evaluate the effectiveness of instruction data more accurately. Our source code is available at: https://github.com/HypherX/Evolution-Analysis{https://github.com/HypherX/Evolution-Analysis}