LoRAアダプターにどれだけの知識を詰め込んでもLLMに悪影響を与えないのか？

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

February 20, 2025

著者: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov

cs.AI

要旨

大規模言語モデル（LLM）の多くのタスクにおける性能は、事前学習中に獲得されモデルのパラメータに保存された知識によって大きく制限されています。低ランク適応（LoRA）は、LLMの更新やドメイン固有の適応を行うための人気で効率的なトレーニング技術です。本研究では、LoRAを用いてLLMに新たな事実を組み込む方法を、既に学習した知識を損なうことなく調査しました。私たちは、Llama-3.1-8B-instructをLoRAで微調整し、さまざまな量の新知識を組み込みました。実験の結果、既知の事実と新たな事実が混在するトレーニングデータを使用した場合に最良の結果が得られることが示されました。しかし、このアプローチは依然として潜在的に有害である可能性があります。なぜなら、そのような微調整の後、外部の質問応答ベンチマークにおけるモデルの性能が低下するからです。トレーニングデータが特定のエンティティに偏っている場合、モデルは少数の過剰に表現された回答に回帰する傾向があります。さらに、モデルがより自信を持ち、回答を拒否するケースがほとんどないことも明らかになりました。これらの発見は、LoRAベースのLLM更新における潜在的な落とし穴を浮き彫りにし、新たな知識の統合と一般的なモデル能力のバランスを取るためのトレーニングデータの構成とチューニングパラメータの重要性を強調しています。

English

The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.