LLM에 해를 끼치지 않으면서 LoRA 어댑터에 얼마나 많은 지식을 압축할 수 있는가?

How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?

February 20, 2025

저자: Sergey Pletenev, Maria Marina, Daniil Moskovskiy, Vasily Konovalov, Pavel Braslavski, Alexander Panchenko, Mikhail Salnikov

cs.AI

초록

대규모 언어 모델(LLM)의 성능은 사전 학습 과정에서 습득하고 모델 파라미터에 저장된 지식에 크게 제한됩니다. 저랭크 적응(LoRA)은 LLM을 업데이트하거나 특정 도메인에 맞게 적응시키기 위해 널리 사용되는 효율적인 학습 기법입니다. 본 연구에서는 LoRA를 사용하여 기존에 학습된 지식을 손상시키지 않으면서 새로운 사실을 LLM에 통합하는 방법을 탐구합니다. 우리는 다양한 양의 새로운 지식을 포함한 데이터로 Llama-3.1-8B-instruct 모델을 LoRA를 통해 미세 조정했습니다. 실험 결과, 학습 데이터에 알려진 사실과 새로운 사실이 혼합되어 있을 때 가장 좋은 결과를 얻을 수 있음을 확인했습니다. 그러나 이러한 접근 방식은 여전히 잠재적으로 해로울 수 있는데, 외부 질의응답 벤치마크에서 모델의 성능이 미세 조정 후 저하되기 때문입니다. 학습 데이터가 특정 개체에 치우쳐 있을 경우, 모델은 과도하게 표현된 몇 가지 답변으로 회귀하는 경향을 보였습니다. 또한, 모델이 더 자신감을 갖게 되고 극히 드문 경우에만 답변을 거부한다는 사실도 발견했습니다. 이러한 결과는 LoRA 기반 LLM 업데이트의 잠재적 함정을 강조하며, 새로운 지식 통합과 일반적인 모델 능력 간의 균형을 맞추기 위한 학습 데이터 구성 및 조정 파라미터의 중요성을 부각시킵니다.

English

The performance of Large Language Models (LLMs) on many tasks is greatly limited by the knowledge learned during pre-training and stored in the model's parameters. Low-rank adaptation (LoRA) is a popular and efficient training technique for updating or domain-specific adaptation of LLMs. In this study, we investigate how new facts can be incorporated into the LLM using LoRA without compromising the previously learned knowledge. We fine-tuned Llama-3.1-8B-instruct using LoRA with varying amounts of new knowledge. Our experiments have shown that the best results are obtained when the training data contains a mixture of known and new facts. However, this approach is still potentially harmful because the model's performance on external question-answering benchmarks declines after such fine-tuning. When the training data is biased towards certain entities, the model tends to regress to few overrepresented answers. In addition, we found that the model becomes more confident and refuses to provide an answer in only few cases. These findings highlight the potential pitfalls of LoRA-based LLM updates and underscore the importance of training data composition and tuning parameters to balance new knowledge integration and general model capabilities.