NILE: Allineamento della Coerenza Interna nei Grandi Modelli Linguistici

NILE: Internal Consistency Alignment in Large Language Models

December 21, 2024

Autori: Minda Hu, Qiyuan Zhang, Yufei Wang, Bowei He, Hongru Wang, Jingyan Zhou, Liangyou Li, Yasheng Wang, Chen Ma, Irwin King

cs.AI

Abstract

Come passo cruciale per migliorare l'allineamento dei LLM con le intenzioni umane, il Fine-Tuning delle Istruzioni (IFT) richiede un'alta qualità del dataset. Tuttavia, i dataset esistenti per l'IFT spesso contengono conoscenze inconsistenti con le conoscenze interne dei LLM apprese dalla fase di pre-training, il che può influire notevolmente sull'efficacia dell'IFT. Per affrontare questo problema, introduciamo il framework NILE (iNternal consIstency aLignmEnt), mirato a ottimizzare i dataset per l'IFT per sbloccare ulteriormente le capacità dei LLM. NILE opera elicando le conoscenze interne del LLM pre-addestrato di destinazione corrispondenti ai dati delle istruzioni. Le conoscenze interne sono sfruttate per rivedere le risposte nei dataset per l'IFT. Inoltre, proponiamo un nuovo metodo di Filtraggio della Consistenza Interna (ICF) per filtrare campioni di addestramento, garantendo un'alta consistenza con le conoscenze interne del LLM. I nostri esperimenti dimostrano che i dataset per l'IFT allineati con NILE migliorano nettamente le prestazioni dei LLM su diversi dataset di valutazione delle capacità dei LLM, ottenendo fino al 66,6% di miglioramento su Arena-Hard e 68,5% su Alpaca-Eval V2. Un'ulteriore analisi conferma che ciascun componente del framework NILE contribuisce a questi sostanziali miglioramenti delle prestazioni, e fornisce prove convincenti che la consistenza del dataset con le conoscenze interne pre-addestrate è fondamentale per massimizzare il potenziale dei LLM.

English

As a crucial step to enhance LLMs alignment with human intentions, Instruction Fine-Tuning (IFT) has a high demand on dataset quality. However, existing IFT datasets often contain knowledge that is inconsistent with LLMs' internal knowledge learned from the pre-training phase, which can greatly affect the efficacy of IFT. To address this issue, we introduce NILE (iNternal consIstency aLignmEnt) framework, aimed at optimizing IFT datasets to unlock LLMs' capability further. NILE operates by eliciting target pre-trained LLM's internal knowledge corresponding to instruction data. The internal knowledge is leveraged to revise the answer in IFT datasets. Additionally, we propose a novel Internal Consistency Filtering (ICF) method to filter training samples, ensuring its high consistency with LLM's internal knowledge. Our experiments demonstrate that NILE-aligned IFT datasets sharply boost LLM performance across multiple LLM ability evaluation datasets, achieving up to 66.6% gain on Arena-Hard and 68.5% on Alpaca-Eval V2. Further analysis confirms that each component of the NILE}framework contributes to these substantial performance improvements, and provides compelling evidence that dataset consistency with pre-trained internal knowledge is pivotal for maximizing LLM potential.