사전 및 사후 튜닝 모델 병합을 통해 LLM의 안전을 보호하십시오.

초록

대규모 언어 모델(LLM)을 하위 작업에 맞게 세밀하게 조정하는 것은 널리 사용되는 방법이지만, 안전에 맞춘 LLM에서 안전성이 저하되는 경우가 종종 있습니다. 현재 많은 해결책이 이 문제를 다루고 있지만, 많은 경우에 추가적인 안전 데이터를 통합하는 것은 현실적이지 않을 수 있습니다. 본 논문에서는 다음 질문에 대답합니다: 어떻게 하면 추가적인 안전 데이터에 의존하지 않고 LLM의 안전성을 유지하면서 하위 작업 성능을 향상시킬 수 있을까요? 우리는 사전 및 사후 세밀 조정된 안전에 맞춘 모델의 가중치를 병합함으로써 LLM의 내재적 안전성을 유지하면서 하위 작업 성능을 향상시키는 간단하고 효과적인 방법을 제안합니다. 다양한 하위 작업, 모델 및 병합 방법에 걸쳐 실험 결과는 이 접근 방식이 안전성 저하를 효과적으로 완화하면서 하위 작업 성능을 향상시키는 것을 입증하며, 안전에 맞춘 LLM을 적응시키는 실용적인 해결책을 제공합니다.

English

Fine-tuning large language models (LLMs) for downstream tasks is a widely adopted approach, but it often leads to safety degradation in safety-aligned LLMs. Currently, many solutions address this issue by incorporating additional safety data, which can be impractical in many cases. In this paper, we address the question: How can we improve downstream task performance while preserving safety in LLMs without relying on additional safety data? We propose a simple and effective method that maintains the inherent safety of LLMs while enhancing their downstream task performance: merging the weights of pre- and post-fine-tuned safety-aligned models. Experimental results across various downstream tasks, models, and merging methods demonstrate that this approach effectively mitigates safety degradation while improving downstream task performance, offering a practical solution for adapting safety-aligned LLMs.

사전 및 사후 튜닝 모델 병합을 통해 LLM의 안전을 보호하십시오.

Safeguard Fine-Tuned LLMs Through Pre- and Post-Tuning Model Merging

초록

Summary

Support