NILE: 大規模言語モデルにおける内部整合性アライメント

NILE: Internal Consistency Alignment in Large Language Models

December 21, 2024

著者: Minda Hu, Qiyuan Zhang, Yufei Wang, Bowei He, Hongru Wang, Jingyan Zhou, Liangyou Li, Yasheng Wang, Chen Ma, Irwin King

cs.AI

要旨

LLM（Large Language Models）の人間の意図との整合性を高めるための重要なステップとして、Instruction Fine-Tuning（IFT）はデータセットの品質に高い要求をしています。しかしながら、既存のIFTデータセットには、LLMの事前学習フェーズで学習した内部知識と矛盾する知識が含まれていることがよくあり、これはIFTの効果に大きく影響する可能性があります。この問題に対処するために、私たちはNILE（iNternal consIstency aLignmEnt）フレームワークを導入しました。このフレームワークは、IFTデータセットを最適化してLLMの能力をさらに引き出すことを目的としています。NILEは、指示データに対応する目標事前学習LLMの内部知識を引き出すことによって機能します。この内部知識は、IFTデータセット内の回答を修正するために活用されます。さらに、訓練サンプルをフィルタリングするための新しいInternal Consistency Filtering（ICF）手法を提案しており、これにより、LLMの内部知識との高い整合性が確保されます。私たちの実験では、NILEに整合したIFTデータセットが、複数のLLM能力評価データセット全体でLLMの性能を急激に向上させ、Arena-Hardでは最大66.6％、Alpaca-Eval V2では68.5％の向上を達成しました。さらなる分析により、NILEフレームワークの各構成要素がこれらの大幅な性能向上に貢献しており、事前学習の内部知識とのデータセットの整合性がLLMの潜在能力を最大限に引き出すために重要であるという説得力のある証拠が提供されています。

English

As a crucial step to enhance LLMs alignment with human intentions, Instruction Fine-Tuning (IFT) has a high demand on dataset quality. However, existing IFT datasets often contain knowledge that is inconsistent with LLMs' internal knowledge learned from the pre-training phase, which can greatly affect the efficacy of IFT. To address this issue, we introduce NILE (iNternal consIstency aLignmEnt) framework, aimed at optimizing IFT datasets to unlock LLMs' capability further. NILE operates by eliciting target pre-trained LLM's internal knowledge corresponding to instruction data. The internal knowledge is leveraged to revise the answer in IFT datasets. Additionally, we propose a novel Internal Consistency Filtering (ICF) method to filter training samples, ensuring its high consistency with LLM's internal knowledge. Our experiments demonstrate that NILE-aligned IFT datasets sharply boost LLM performance across multiple LLM ability evaluation datasets, achieving up to 66.6% gain on Arena-Hard and 68.5% on Alpaca-Eval V2. Further analysis confirms that each component of the NILE}framework contributes to these substantial performance improvements, and provides compelling evidence that dataset consistency with pre-trained internal knowledge is pivotal for maximizing LLM potential.